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Hochleistungsrechner der Bundesanstalt für Wasserbau 


Vorbemerkung der Fragesteller 

Die Bundesanstalt für Wasserbau (BAW) ist eine Bundesbehörde mit Sitz in 
Karlsruhe. Sie unterstützt das Bundesministerium für Verkehr, Bau und Stadt- 
entwicklung (BMVBS) und die Wasser- und Schifffahrtsverwaltung des Bun- 
des und beschäftigt mehr als 500 Mitarbeiter. Die BAW versteht sich als 
Dienstleister mit Kompetenzen und Erfahrung im Verkehrswasserbau. 

Der Anteil der Güter, die auf dem Wasser transportiert werden, beträgt in 
Deutschland nur rund 10 Prozent. Hierfür werden aber mehr als die Hälfte der 
Beschäftigten des gesamten BMVBS benötigt. Seit 20 Jahren hat sich der An- 
teil der Binnenschifffahrt am Güterverkehr nicht erhöht, obwohl in dieser Zeit 
Milliarden in die Infrastruktur investiert wurden. Deshalb hat der Haushalts- 
auschuss des Deutschen Bundestages die Bundesregierung beauftragt, eine 
Gesamtreform der Wasser- und Schifffahrtsverwaltung zu erarbeiten. 

Ungeachtet dieser Reformpläne hat die Bundesanstalt für Wasserbau einen 
neuen Hochleistungsrechner für knapp 2 Mio. Euro angeschafft. Dieser Rech- 
ner ersetzt einen fünf Jahre alten Computer. Mit der erhöhten Rechenleistung 
sollen Maßnahmen und Fragestellungen der Wasser- und Schifffahrtsverwal- 
tung schneller, umfassender und aussageschärfer bearbeitet werden. 


1 . Was waren die Gründe für die Anschaffung des neuen Hochleistungsrech- 
ners? 

Planung und Durchführung größerer wasserbaulicher Maßnahmen der Wasser- 
und Schifffahrtsverwaltung des Bundes (WSV) sind heute ohne den Einsatz 
komplexer Simulationsmodelle nicht mehr möglich. Die in öffentlich-recht- 
lichen Verfahren gestellten Anforderungen an Qualität und Umfang der fach- 
wissenschaftlichen Untersuchungen bedingen zwingend den Einsatz numeri- 
scher Modellverfahren. 

Als Ergänzung zu Naturuntersuchungen und gegenständlichen Modellen sind 
numerische Werkzeuge bei der Beratung und Unterstützung der WSV optimal 
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geeignet, die räumliche und zeitliche Wirkung vieler verschiedener Einfluss- 
größen mittels Szenarienrechnungen (Variantenuntersuchungen, Sensitivitäts- 
untersuchungen) aufzuzeigen. Dies ist insbesondere im Zusammenhang mit 
morphologischen Langzeitprognosen notwendig und verbessert die Bewertung 
von Maßnahmen und deren Qualitätskontrolle. 

Die in den letzten Jahren deutlich gestiegenen Anforderungen an die Anzahl 
der zu untersuchenden Zustandsgrößen, an die Aussagegenauigkeit sowie an 
die Größe der zu betrachtenden Modellgebietsfläche führt allerdings zu einer 
deutlichen Zunahme an Rechenbedarf. 

Durch die erhöhte Rechenkapazität ist die Bundesanstalt für Wasserbau (BAW) 
in der Lage, wissenschaftlich fundierte Aussagen zu den vielfältigen Maßnah- 
men und Fragestellungen der WSV schneller, aussageschärfer (z. B. durch 
höhere räumliche und zeitliche Auflösungen) sowie umfassender (z. B. durch 
größere räumliche Ausdehnung, Integration bisher nicht berücksichtigter Teil- 
prozesse) zu treffen. 


2. Wie hoch ist der Energiebedarf des neuen Hochleistungsrechners? 

Wie hoch war der des Vorgängers? 

Der neue Flochleistungsrechner hat einen Energiebedarf von 504 MWh im Jahr. 
Diese Angabe beraht auf dem zwischen Oktober 2010 und März 201 1 gemesse- 
nen und auf ein Jahr hochgerechneten Energieverbrauch. 

Der Rechner gibt 95 Prozent seiner Abwärme, wie bereits der Vorgänger, an 
einen geschlossenen Wasserkreislauf ab. Mit Hilfe einer zeitgleich mit dem 
Rechner in Betrieb genommenen Wärmerückgewinnungsanlage wird aus die- 
ser Abwärme in den Heizperioden Wärme in das Heizungsnetz der BAW einge- 
speist und muss nicht anderweitig bezogen werden. Für eine belastbare Quanti- 
fizierung der durch die Wärmerückgewinnung erzielten Einspareffekte ist der 
Erhebungszeitraum allerdings noch zu kurz. 

Der Vorgänger hatte einen Energiebedarf von 420 MWh im Jahr. 


3 . Wo steht der Hochleistungsrechner? 

Welche Aufstellfläche hat der neue Hochleistungsrechner? 

Welche Aufstellfläche hatte der Vorgänger? 

Der Hochleistungsrechner ist auf dem Gelände der BAW, Kußmaulstraße 17, 
76187 Karlsruhe untergebracht. Er steht in einem Technikraum im Keller eines 
Bürogebäudes. Die Raumgröße beträgt 27,55 m^, die Aufstellfläche des Rech- 
ners beträgt 4,68 m^. 

Der Vorgänger war an gleicher Stelle untergebracht und hatte eine Aufstellflä- 
che von 5,4 m^. 


4. Wie genau hieß das Vorgängersystem, und aus welchen Komponenten 
setzte es sich zusammen? 

Das Vorgängersystem hieß SGI Altix 3700Bx2 und wurde in Form von zwei 
technisch getreimten Teilsystemen betrieben. 

Hardware 

— 256 + 48 Prozessoren (Intel Itanium2 1.5 GHz 4MB Cache), 

- 256 + 48 GByte Memory, 
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— 4,6 + 2,3 TByte Plattenplatz (brutto), 

— (4 + 2) X 146 GB Systemdisk, 

— 6 + 3 Gigabit Ethernet Adapter, 

— (4 + 2) X 2Gbit-FC Dual-Port Adapter, 

— wassergekühlte Gehäuserücktüren zur Verringerung des Energiebedarfs für 
die Klimatisierung. 

Software 

— Linux Betriebssystem (Redhat), SGI Pro Pack, 

— Intel Compiler und Optimierungs-SW, 

— CXFS Client- und Serverlizenz, 

— Lastverteilungssystem PBS Pro auf Linux. 

5. Was wurde mit dem Vorgängersystem gemacht? 

Wie wird es nun eingesetzt? 

Das Vorgängersystem wurde an den Lieferanten zurückgegeben, von dem das 
System im Jahr 2005 bezogen worden war. Dieses Vorgehen ist bereits beim 
Kauf des Vorgängersystems im Jahr 2005 vertraglich vereinbart worden. Die 
BAW hat keine Kenntnis davon, welche Nutzung das Vorgängersystem nun hat. 


6. Wie viele Prozessoren bzw. Kerne hat der neue Rechner, wie groß ist der 
Arbeitsspeicher, und wie viele Gleitkommastellen kann der Rechner pro 
Sekunde berechnen? 

Welche Werte hatte der alte Rechner im Vergleich dazu? 



neuer Rechner 

alter Rechner 

Prozessoren 

512 

256 + 48 

Kerne 

3 072 

256 + 48 

Arbeitsspeicher 

6 144 GByte 

256 + 48 GByte 

Rechenleistung (Rpeak bzw. theo- 
retischer Spitzenwert) 

36 000 GFlops 

1 536 + 288 GFlops 


7. Welche Betriebskosten fallen für den Rechner an? 

Wie hoch waren sie beim alten Rechner? 

Für den Betrieb des neuen Rechners fallen Kosten für die Instandhaltung und 
Softwarepflege in Höhe von durchschnittlich 74 200 Euro im Jahr an. Hinzu 
kommen die Kosten für den Energiebedarf (Basis: Strompreis 2010) in Höhe 
von 58 900 Euro im Jahr. 

Der alte Rechner hatte Betriebskosten in Höhe von durchschnittlich 132 630 Euro 
für die Instandhaltung und Softwarepflege sowie von 49 100 Euro für Energie- 
kosten (Basis: Strompreis 2010). 
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8. Wie hoch sind die Personalkosten für den Betrieb des Rechners? 

Wie hoch waren sie bei dem alten Rechner? 

Für den Betrieb des Rechners sind auf Grund der bisher vorliegenden Erfahrun- 
gen etwa 150 Stunden im Jahr erforderlich. Das entspricht bei dem für das hier- 
für seitens der BÄW eingesetzte Personal und einem aktuell geltenden Perso- 
nalkostenverrechnungsansatz von 46 Euro/Stunde rand 6 900 Euro an Perso- 
nalkosten im Jahr. 

Bei dem alten Rechner fielen 200 Stunden im Jahr an. Das entspräche bei dem 
aktuell geltenden Kostenansatz von 46 Euro/Stunde rand 9 200 Euro an Perso- 
nalkosten im Jahr. 


9. Welcher Aufwand ist durch die Implementierung der Software auf dem 
neuen Rechner entstanden? 

Für die BAW entstand nur geringer personeller Aufivand. Die Betriebsumge- 
bung wurde vorab durch den Anbieter auf dem neuen Rechner implementiert. 
Da im Rahmen der Ausschreibung für die numerischen Programme Bench- 
marks gefordert waren, wurden diese bereits vom Anbieter auf den neuen 
Rechner portiert. Programmanpassungen und damit neue Implementierungen 
durch die BAW waren daher nicht notwendig. Der Aufwand für die Installation 
weiterer Programmversionen war aufgrund der Vorarbeit der Anbieter nicht 
größer als bei einem normalen Programmupdate auf dem alten Rechner, da die 
Betriebsumgebung auf beiden Systemen praktisch identisch ist. 


10. Welche Ausschreibung lag der Anschaffung des neuen Rechners zu- 
grunde (Ausschreibung bitte als Anlage beifügen)? 

Die Beschaffung erfolgte durch ein europaweit offenes Verfahren, welches von 
der BAW im Jahr 2009 eingeleitet wurde und im März 2010 mit der Zuschlags- 
erteilung an die Firma Silicon Graphics GmbH (sgi) endete. Dieses Ausschrei- 
bungsverfahren wurde bei der BAW unter der Bezeichnung „25/2009 CS“ ge- 
führt. 

Diesen Erläuterungen liegen in der Anlage folgende Unterlagen — zusammen- 
gefasst in einem Dokument — zur Ausschreibung bei: 

• EU-Bekanntmachung*, 

• Ausschreibungstext*’ 

• Leistungsbeschreibung *, 

• Bewertungsmatrix*. 


11. Wie hoch ist die Auslastung des neuen Rechners seit Inbetriebnahme 
(Betriebsstunden, Auslastung Rechenleistung, Datenmengen)? 

Seit der betriebsbereiten Übergabe des neuen Rechners an die BAW am 7. Juli 
2010 sind 288 Tage vergangen. Während dieser umgerechnet 6 912 Stunden 
war der Rechner 6 843 Stunden betriebsbereit. Das entspricht einer Verfügbar- 
keit von 99 Prozent. 


Von einer Drucklegung der in der Antwort zu Frage 10 genannten Anlagen wurde abgesehen. Diese 
sind als Anlagen auf Bundestagsdrucksache 17/5701 auf der Intemetseite des Deutschen Bundestages 
abrufbar. 
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Die durchschnittliche Auslastung des Rechners betrug etwa 85 Prozent der 
maximal nutzbaren Kapazität. Der zu dem Rechner gehörende Datenspeicher 
war durchschnittlich zu 60 Prozent der maximalen Kapazität gefüllt. 


12. Welche Zeitersparnis hat sich durch den neuen Rechner im Vergleich zum 
alten Rechner bei den bis heute durchgeflihrten Berechnungen ergeben? 

Die erhöhte Rechenkapazität erlaubt es der BAW, Modelle mit größerer räumli- 
cher Ausdehnung und/oder höheren räumlichen sowie zeitlichen Auflösungen 
zu betreiben. Darüber hinaus köimen in vergleichbarer Zeit eine wesentlich 
größere Anzahl an Varianten untersucht bzw. morphologische Langfristprogno- 
sen über wesentlich größere Zeiträume (mehrere Dekaden) durchgeführt wer- 
den. Insgesamt kann dadurch den in den letzten Jahren erheblich gestiegenen 
Anforderungen (siehe Antwort zu Frage 1) Rechnung getragen werden. 

Ein Großteil der nun möglichen Rechenläufe wäre auf dem alten Rechner in ver- 
tretbarer Rechenzeit (compute time < 1 bis 2 Wochen) nicht realisierbar gewe- 
sen. In Abhängigkeit der Fragestellung und des eingesetzten Modellverfahrens 
können vergleichbare Rechenläufe auf dem neuen Rechner etwa 2- bis 1 0-mal 
schneller als auf dem alten Rechner durchgeführt werden. Darüber hinaus kön- 
nen erheblich mehr Simulationen gleichzeitig durchgeführt werden. 


13. Wie hoch war der Energieverbrauch des neuen Hochleistungsrechners für 
die bisher durchgeführten Berechnungen? 

Welchen Energieverbrauch hätte der alte Rechner bei derselben Bean- 
spruchung gehabt? 

Unter Berücksichtigung der Antwort zu Frage 2 ergibt sich der Energiever- 
brauch des neuen Hochleistungsrechners für die bisher durchgeführten Berech- 
nungen zu 398 MWh (504 MWh je Jahr; 288 Tage seit Inbetriebnahme). 

Unter Berücksichtigung der Antwort zu Frage 2 und der vom Lieferanten des 
neuen Rechners auch nachgewiesenen Leistungssteigerung des neuen gegen- 
über dem alten Hochleistungsrechner mit Faktor 20 auf Basis von BAW-An- 
wendungen (Kriterium E.L2 der Ausschreibung) ergäbe sich für den alten 
Rechner ein fiktiver Energieverbrauch für dieselbe Beanspruchung in Höhe des 
20-fachen von 420 MWh je Jahr reduziert auf 288 Tage, also 6 628 MWh. Diese 
Angabe ist allerdings insofern als fiktiv anzusehen, als der alte Rechner über- 
haupt nicht in der Lage gewesen wäre, jede der auf dem neuen Rechner bereits 
durchgeführten Berechnungen zu ermöglichen (z. B. eine Berechnung unter 
Einsatz von mehr als 256 CPU-Kernen). 


14. Kann der neue Hochleistungsrechner auch von anderen Anstalten, Behör- 
den und Instituten des Bundes oder der Länder zur Durchführung kom- 
plexer und aufwendiger Berechnungen genutzt werden? 

Wenn ja, wurde diese Möglichkeit schon in Anspruch genommen? 

Ja, der neue Hochleistungsrechner kann grundsätzlich von anderen Anstalten, 
Behörden und Instituten des Bundes oder der Länder genutzt werden. Aufgrund 
der hohen Auslastung durch die BAW (siehe Antwort zu Frage 11) bliebe hier- 
für aber zu wenig freie Kapazität, so dass sich für andere Institutionen kein 
praktischer Nutzen ergeben würde. 
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15. Kann der neue Hochleistungsrechner auch von anderen wissenschaft- 
lichen Einrichtungen zur Durchführung komplexer und aufwendiger Be- 
rechnungen genutzt werden? 

Wenn ja, wurde diese Möglichkeit schon in Anspruch genommen? 

Ja, der neue Hochleistungsrechner kann von anderen wissenschaftlichen Ein- 
richtungen genutzt werden, solange diese Nutzung im Rahmen von Aufträgen 
der BAW an diese Einrichtungen zur Bearbeitung wissenschaftlicher Fragestel- 
lungen erfolgt. Diese Möglichkeit ist bereits durch die Universität der Bundes- 
wehr München in Anspruch genommen worden. 


16. Welche Gründe sprachen dafür einen eigenen Hochleistungsrechner für 
die BAW anzuschaffen, anstatt Rechenleistung in anderen Einrichtungen 
in Anspmch zu nehmen? 

Wurde die Wirtschaftlichkeit beider Varianten untersucht und verglichen? 

Die Beschaffung eines eigenen Hochleistungsrechners erfolgte unter Berück- 
sichtigung entsprechender Erlasse des Bundesministeriums für Verkehr, Bau 
und Stadtentwicklung bzw. der Ergebnisse einer Studie „Bewertung der Mach- 
barkeit eines HPC-Zentrums für die Bundesverwaltung für Verkehr, Bau und 
Stadtentwicklung (BVBS)“ aus dem Jahr 2006. 

Im Zusammenhang mit diesen Vorgaben hat die BAW im Vorfeld der Anschaf- 
fung des eigenen Hochleistungsrechners die Inanspruchnahme von Rechenleis- 
tung beim HPC-Zentrum der BVBS beim Deutschen Wetterdienst (DWD) ge- 
prüft. 

Die Untersuchung ergab, dass die Kosten je GFlops Rechenleistung auf dem 
Hochleistungsrechner SX-9 beim DWD je nach Betrachtungsweise um den 
Faktor 5 bei Rpeak (theoretische Spitzenleistung des Rechners) bzw. den Fak- 
tor 2 bis 5 bei der Dauerleistung auf Basis von numerischen Anwendungen der 
BAW höher waren als bei Nutzung eines eigenen Hochleistungsrechners bei 
der BAW. Bei dieser Untersuchung wurden die zusätzlichen Kosten für die 
Nutzung von ausreichend hoch dimensionierten Datenleitungen zum Transfer 
der Daten zwischen BAW und DWD sowie für die Portierung der BAW-Pro- 
gramme auf die beim DWD zum Einsatz kommende Vektorarchitektur nicht 
betrachtet. 
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BEKANNTMACHUNG 

Lieferauftrag 

ABSCHNITT I: ÖFFENTLICHER AUFTRAGGEBER 

1.1) Name, Adressen und Kontaktstelle(n): 

Bundesanstalt für Wasserbau 

Kußmaulstraße 17 

z. Hd. von Frau Reinhold 

76187 

Karlsruhe 

Deutschland (DE) 

Tel.: 0049 721 9726 5180 
E-Mail: ausschreibung@baw.de 
Fax: 0049 721 9726 4540 
Internet-Adresse(n): 

Hauptadresse des Auftraggebers: www.baw.de. 


Weitere Auskünfte erteiien: 

Bundesanstalt für Wasserbau, 
z. Hd. von Herrn Damrau, 

Kußmaulstraße 17, 

76187 
Karlsruhe 
Deutschland (DE). 

Tel. 0049 721 9726 3630. 

E-Mail: thomas.damrau@baw.de. 

Fax. 0049 721 9726 2520. 

Verdingungs-ZAusschreibungs- und ergänzende Unterlagen (einschließlich 
Unterlagen für den wettbewerblichen Dialog und ein dynamisches 
Beschaffungssystem) sind erhältlich bei: den oben genannten Kontaktstellen. 

Angebote/Teilnahmeanträge sind zu richten an: die oben genannten Kontaktstellen. 

1.2) Art des öffentlichen Auftraggebers und Haupttätigkeit(en): 

Ministerium oder sonstige zentral- oder bundesstaatliche Behörde einschließlich regionaler oder 
lokaler Unterabteilungen. 

Der öffentliche Auftraggeber beschafft im Auftrag anderer öffentlicher Auftraggeber: Nein. 

ABSCHNITT II: AUFTRAGSGEGENSTAND 


11.1) Beschreibung 
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11.1.1) Bezeichnung des Auftrags durch den Auftraggeber: 

Ersatzbeschaffung eines Compute Servers für Ersteiiung, Bearbeitung und Betrieb numerischer Modeiie im 
Binnenbereich. 


II. 1 .2) Art des Auftrags sowie Ort der Ausführung, Lieferung bzw. Dienstieistung: 

Lieferung. 

Kauf 

Hauptiieferort: 

Bundesanstait für Wasserbau, Kußmauistraße 17, 76187 Karisruhe 
NUTS-Code: DE122. 


11.1.3) Gegenstand der Bekanntmachung: 

Öffentiicher Auftrag 

11.1 .4) Angaben zur Rahmenvereinbarung: 

11.1 .5) Kurze Beschreibung des Auftrags oder Beschaffungsvorhabens: 

Beschaffung und Instaiiation eines Compute Servers. Instandhaitung für eine Betriebsdauer von 60 
Monaten. Die BAW setzt für die Abteiiung Wasserbau im Binnenbereich ieistungsfähige Rechnersysteme 
für Ersteiiung, Bearbeitung und Betrieb numerischer Modeiie ein. Es sind Benchmarks durchzuführen, 
weiche im Leistungsverzeichnis spezifiziert werden. 

11.1 .6) Gemeinsames Vokabuiar für öffentiiche Aufträge (CPV): 

30236200-4 

11.1 .7) Auftrag fäiit unter das Beschaffungsübereinkommen (GPA): 

Ja. 

11.1.8) Aufteiiung in Lose: 

Nein. 

11.1 .9) Varianten/Aiternativangebote sind zuiässig: 

Nein. 

11.2) Menge oder Umfang des Auftrags 

11.2.1) Gesamtmenge bzw. -umfang: 

11.2.2) Optionen: 

Nein. 

11.3) Vertrags iaufzeit bzw. Beginn und Ende der Auftragsausführung: 

Beginn: 17.03.2010. 
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Ende: 30.06.2010. 


ABSCHNITT III: RECHTLICHE. WIRTSCHAFTLICHE. FINANZIELLE UND TECHNISCHE 
INFORMATIONEN 

III.1) Bedingungen für den Auftrag 

IN. 1.1) Geforderte Kautionen und Sicherheiten: 

siehe Vergabeunteriagen 

III.1 .2) Wesentliche Finanzierungs- und Zahlungsbedingungen bzw. Verweis auf die 
maßgeblichen Vorschriften: 

Zahiung nach Eingang einer prüffähigen Rechnung binnen 30 Tagen (§17 VOL/B). 

II 1.1. 3) Rechtsform der Bietergemeinschaft, an die der Auftrag vergeben wird: 

Gesamtschuidnehsch haftend mit bevoiimächtigtem Vertreter. 

III.1 .4) Sonstige besondere Bedingungen an die Auftragsausführung: 

Ja. 

Nennung aiier Unterauftragnehmer bzw. Konsortiaipartner. Der Bieter muss eine entsprechende 
Verpfiichtungserkiärung voriegen, aus weicher ersichtiich wird, das dem Bieter die erforderiichen Mittei bei 
der Erfüiiung des Auftrages zur Verfügung stehen. 

IN. 2) Teilnahmebedingungen 

NI. 2.1) Persönliche Lage des Wirtschaftsteilnehmers sowie Auflagen hinsichtlich der 
Eintragung in einem Berufs- oder Handelsregister: 

Angaben und Formaiitäten, die erforderiich sind, um die Einhaitung der Auflagen zu überprüfen: 

NI. 2. 2) Wirtschaftliche und finanzielle Leistungsfähigkeit: 

Angaben und Formaiitäten, die erforderiich sind, um die Einhaitung der Auflagen zu überprüfen: 

Nachweise zu § 7a Nr. 3 (1) d VOL/A 

NI. 2. 3) Technische Leistungsfähigkeit: 

Angaben und Formaiitäten, die erforderiich sind, um die Einhaitung der Auflagen zu überprüfen: 

Nachweise zu § 7a Nr. 3 (2) a VOL/A 

Mögiicherweise geforderte Mindeststandards: 

mindestens 3,0 TFLOPS (sustained) mit CFD-Programmen des Auftraggebers, Verifikation auf der 
geiieferten Aniage. 

NI. 2.4) Vorbehaltene Aufträge: 

Nein. 

111.3) Besondere Bedingungen für Dienstleistungsaufträge 
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IN. 3.1) Die Erbringung der Dienstieistung ist einem besonderen Berufsstand vorbehaiten 

Nein. 

IN. 3. 2) Juristische Personen müssen die Namen und die berufiiche Quaiifikation der 
Personen angeben, die für die Ausführung der betreffenden Dienstieistung 
verantwortiich sein soiien: 

Ja. 

ABSCHNITT IV: VERFAHREN 
IV.1) Verfahrensart 

IV. 1.1) Verfahrensart: 

Offenes Verfahren. 

IV.1 .2) Beschränkung der Zahl der Wirtschaftsteilnehmer, die zur Angebotsabgabe bzw. 
Teilnahme aufgefordert werden: 

IV.1 .3) Verringerung der Zahl der Wirtschaftsteilnehmer im Laufe der Verhandlung bzw. 
des Dialogs: 

IV.2) Zuschlagskriterien 
IV.2.1) Zuschlagskriterien: 

Wirtschaftlich günstigstes Angebot in Bezug auf die nachstehenden Kriterien: 

1. Anbieterdarstellung Gewichtung: 4,0 

2. Projektabwicklung, Bereitstellung, Ersatzlösung Gewichtung: 8,0 

3. Allgemeine Anforderungen Gewichtung: 8,0 

4. Anforderungen an das Operation und den Support Gewichtung: 24,0 

5. Spezielle Anforderungen an die Ersatzlösung - Hardware Gewichtung: 10,0 

6. Spezielle Anforderung an die Ersatzlösung - Software Gewichtung: 9,0 

7. Benchmarks Gewichtung: 35,0 

8. Anforderungen an die Preisgestaltung Gewichtung: 2,0 

IV.2. 2) Es wird eine elektronische Auktion durchgeführt: 

Nein. 

IV.3) Verwaltungsinformationen 

IV.3.1) Aktenzeichen beim öffentlichen Auftraggeber: 

BAW 25/2009 

IV.3. 2) Frühere Bekanntmachungen desselben Auftrags: 

Nein. 
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IV.3.3) Bedingungen für den Erhalt von Verdingungs-ZAusschreibungs- und ergänzenden 
Unterlagen bzw. der Beschreibung: 

Schlusstermin für die Anforderung von oder Einsicht in Unterlagen: 

15.01.2010 16:00:00 Uhr 

Die Unterlagen sind kostenpflichtig: Nein. 

IV.3.4) Schlusstermin für den Eingang der Angebote bzw. Teilnahmeanträge: 

01.02.2010 16:00 Uhr 


IV.3.5) Tag der Absendung der Aufforderung zur Angebotsabgabe bzw. zur Teilnahme an 
ausgewählte Bewerber: 

IV.3.6) Sprache(n), in der (denen) Angebote oder Teilnahmeanträge verfasst werden 
können: 

Deutsch. 

IV.3.7) Bindefrist des Angebots: 

Bis: 17.03.2010 

IV.3.8) Bedingungen für die Öffnung der Angebote: 

Datum: 02.02.2010 09:00. 

Ort: Karlsruhe. 

Personen, die bei der Öffnung der Angebote anwesend sein dürfen: Nein. 

ABSCHNITT VI: ZUSÄTZLICHE INFORMATIONEN 

VI. 1) Dauerauftrag: 

Nein. 

VI. 2) Auftrag in Verbindung mit einem Vorhaben und/oder Programm, das aus 

Gemeinschaftsmitteln finanziert wird: 

Nein. 

VI. 3) Sonstigeinformationen: 

Über die eVergabe-Plattform des Bundes ist der elektronische Bezug der Vergabeunterlagen 
sowie eine elektronische Angebotsabgabe möglich. Die Abgabe der Vergabeunterlagen 
ist in diesem Fall kostenlos. Nähere Informationen zum Thema e-Vergabe können unter 
http://www.evergabe-online.info/index.html abgerufen werden. Ansonsten erfolgt der Versand der 
Ausschreibungsunterlagen ausschließlich per Post oder über die eVergabe in elektronischer Übermittlung. 

VI .4) Nachprüfungsverfahren/Rechtsbehelfsverfahren 
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Vl.4.1 ) Zuständige Stelle für Nachprüfungsverfahren: 

Bundeskartellamt - Vergabekammer des Bundes 
Kaiser-Friedrich-Straße 16 
53113 Bonn 
Deutschland (DE) 

0049 228 9499 561 
0049 228 9499 163 

Vl.4.2) Einlegung von Rechtsbehelfen: 

Vl.4.3) Stelle, bei der Auskünfte über die Einlegung von Rechts behelfen erhältlich sind 

VI. 5) Tag der Absendung dieser Bekanntmachung: 

09.12.2009. 




BUNDESANSTALT FÜR WASSERBAU 
Karlsruhe 'Hamburg* Ilmenau 


Ausschreibung 
BAW 25/2009-CS 


Offenes Verfahren nach VOL/A 
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für Erstellung, Bearbeitung und Betrieb 

numerischer Modelle im Binnenbereich 

für die 

Bundesanstalt für Wasserbau 
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1 Ziel der Ausschreibung 

1.1 Auftraggeber 

Die Bundesanstalt für Wasserbau (BAW) ist eine Oberbehörde im Geschäftsbereich des 
Bundesministeriums für Verkehr, Bau- und Wohnungswesen (BMVBW) mit Sitz in Karlsruhe 
und Dienststellen in Hamburg und Ilmenau. Die BAW ist das zentrale Institut der Wasser- 
und Schifffahrtsverwaltung (WSV) des Bundes für die gesamte praktische und wissenschaft- 
liche Versuchs- und Forschungsarbeit auf den Gebieten Wasserbau, Geotechnik und Bau- 
technik und betreibt die Fachstelle der WSV für Informationstechnik. 

1 .2 Veranlassung für die Ausschreibung 

Die BAW setzt für die Abteilung Wasserbau im Binnenbereich (Abt. W) leistungsfähige Rech- 
nersysteme (Compute Server) für Erstellung, Bearbeitung und Betrieb numerischer Modelle 
ein. 

Die Abt. W untersucht im Auftrag der WSV mit umfangreichen numerischen Modelluntersu- 
chungen vielfältige dynamische Prozesse in den Binnenschifffahrtsstraßen. Hierfür werden seit 
1994 Compute Server eingesetzt. Aktuell sind dieses die Compute Server SGI Altix3700 (304 
CPU Itanium2, Bj. 2005) und HP CP3000BL (288 Dual Core Xeon CPU, Bj. 2007). 

Im Rahmen dieser Ausschreibung soll eine wirtschaftliche Ersatzbeschaffung der Altix3700 
getätigt werden. Diese Ersatzbeschaffung (sog. „Ersatzlösung“) soll für einen Zeitraum von 5 
Jahren ebenso stabil und effizient zur Verfügung stehen, wie dieses seitens des vorhande- 
nen Servers zu verzeichnen ist. 

Für die Ersatzlösung wird eine reale Leistung gefordert, die sich an realistischen Bench- 
marks orientiert. Die nachfolgende Tabelle zeigt die für diese Benchmarks relevanten Modell- 
verfahren: 



Nr. 

Bezeichnung 

Programmiersprache 

Speichermodell 

VI 

Telemac 

Fortran 

Distributed Memory 

V2 

NaStSDGP 

C++ 

Distributed Memory 


Die Rechenleistung des Gesamtsystems muss mindestens 3,0 TFIop/s betragen. Diese Re- 
chenleistung ist durch die Ausführungszeit eines Benchmarks definiert (siehe die Kapitel 
4.3.3 der Leistungsbeschreibung). 

Die Ersatzlösung soll als ein eigenständiges Rechnersystem beschafft und betrieben wer- 
den. 
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2 Gegenstand der Ausschreibung 

Es ist beabsichtigt, alle in dieser Ausschreibungsunterlage beschriebenen Leistungen im Na- 
men der Bundesrepublik Deutschland, im Auftrag des Bundesministeriums für Verkehr, Bau 
und Stadtentwicklung, dieses vertreten durch die Bundesanstalt für Wasserbau, als ausschrei- 
bende Stelle zu vergeben. 

Zur Erleichterung der 

• Einarbeitung und Angebotserstellung durch den Bieter, 

• Kommunikation zwischen ausschreibender Stelle und Bieter, 

• Angebotsauswertung 

• und zur objektiven Bewertung der Angebote, 
erfolgt die Ausschreibung in einer standardisierten Form. 

Diese Ausschreibung ist funktional und produktneutral aufgebaut. Gegenstand der Aus- 
schreibung sind die im Folgenden genannten Aktivitäten und Produkte (nähere Details siehe 
Leistungsverzeichnis Anlage 1): 

a) Umstellung des vorhandenen Produktionsbetriebes auf die angebotene Ersatzlösung 
durch: 

(01) Projektmanagement für alle erforderlichen Aktivitäten auf Auftragnehmer- und 
Auftraggeberseite (Erstellung Projekthandbuch und Terminplan) 

(02) Beurteilung der vorhandenen bau- und anlagentechnischen Umgebung 
^ räumliche, bauliche Randbedingungen 

^ klimabedingte Randbedingungen 
^ elektrische Einrichtungen 

(03) Beurteilung der vorhandenen Produktionsumgebung 
^ Kommunikationsumgebung 

(04) Bewertung der Entwicklungsumgebung 

(05) Entwicklung einer Sollkonzeption für die Ersatzlösung im Angebot des Bieters. 

(06) Installation der Ersatzlösung und Herstellung der Betriebsbereitschaft bis 
30.06.2010. 

(07) Integration der Ersatzlösung in die Nutzungsumgebung 

(08) Wenn der Bieter die Möglichkeit hat (Option): 

Abbau und ggf. Übernahme / Vergütung des vorhandenen noch funktions- und 
leistungsfähigen Compute Servers (voraussichtlich am 11. Juni 2010) 
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b) Unterstützungsleistungen beim mehrjährigen Betrieb der Ersatzlösung durch 


(9) Unterhaltung einer Hotline 

(10) Instandhaltung der Hardwarekomponenten 

(1 1 ) Pflege der mit der Installation gelieferten Softwarekomponenten 


Die Vergabe der Leistungen erfolgt in einem Los. 

Bei Durchführung der Ausschreibung und Vergabe der Leistungen wird wie folgt vorge- 
gangen: 

(1) Diese Ausschreibung erfolgt in einem europaweiten, offenen Verfahren. 

(2) Dem Bieterkreis wird zur Bearbeitung des Leistungsverzeichnisses und zur Erstellung 
eines Angebotes ein angemessener Zeitraum eingeräumt. 

(3) Die ausschreibende Stelle wird nach Angebotseröffnung und Prüfung aller Angebote in 
einer ersten Stufe alle Angebote aussondern, welche die Minimalanforderungen (als 
Ausschlusskriterien - A - gekennzeichnet) nicht erfüllen. Werden die Ausschlusskriterien 
nicht erfüllt, so kann das Angebot nicht berücksichtigt werden, auch wenn auf anderen 
Gebieten besonders gute Leistungen angeboten werden. 

(4) In einer zweiten Stufe werden die Angebote mit Hilfe der Gewichtungsfaktoren der Be- 
wertungsmatrix bewertet (siehe Kapitel 5). Weiterhin werden die Gesamtkosten bei einer 
Nutzungsdauer von 5 Jahren auf Basis der Angaben im Preisblatt (Anlage 4) sowie der 
Energiekosten (Antwort auf Frage C.1.4 des Leistungsverzeichnisses) ermittelt. Die drei 
besten Angebote in der Reihung entsprechend des Preis-ZLeistungsverhältnisses qualifi- 
zieren sich für die nächsten Stufen des Auswahlverfahrens. 

(5) In der dritten Stufe werden die Bieter mit den besten Angeboten (maximal drei Bieter) 
zur Präsentation aufgefordert. Die Präsentationen sind für den 22 .- 24 . 02.2010 in der 
BAW in Karlsruhe vorgesehen. 

Während der jeweils etwa 3-stündigen Veranstaltungen sollen die Ergebnisse der 
Benchmarks und die Vorgehensweise bei der Durchführung der Benchmarks erläutert 
werden. Weiterhin sollen Fragen geklärt werden die sich ggf. während der zweiten Stufe 
des Auswahlverfahrens ergeben haben. 

Die Teilnahme an der Präsentation ist Voraussetzung für den weiteren Verbleib im Ver- 
fahren. Für die Präsentation wird keine Vergütung gewährt. Die jeweiligen Termine wer- 
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den ausgelost und den jeweiligen Bietern zusammen mit einer Agenda spätestens eine 
Woche vor dem Präsentationstermin mitgeteilt. 

(6) In der vierten Stufe wird das Preis-ZLeistungsverhältnis der verbleibenden Bieter unter 
Berücksichtigung der Ergebnisse der Präsentation bewertet. Der Bieter mit dem unter 
Berücksichtigung aller Umstände wirtschaftlichsten Angebot, ermittelt nach der erweiter- 
ten Richtwertmethode in Anwendung der UfAB IV (siehe Kapitel 5), erhält den Zuschlag. 

(7) Preis und Qualität der entsprechend der Leistungsbeschreibung optional anzubietenden 
Positionen werden bei dem vorgenannten Bewertungsverfahren nicht berücksichtigt, da 
im Rahmen dieser Ausschreibung keine konkreten Mengen im Hinblick auf die Inan- 
spruchnahme dieser Optionen genannt werden können. 
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3 Allgemeine Ausschreibungsbestimmungen 

(01) Die ausschreibende Stelle verfährt nach Teil A der VOL, Abschnitt 2 "Allgemeine Bestim- 
mungen für die Vergabe von Leistungen" Ausgabe 2/2006 - (in der Fassung vom 
06.04.2006), sowie die Bewerbungbedingungen für die Vergabe von Leistungen - BwL 
(EG) in der Fassung vom 12/2005, ohne dass diese Vertragsbestandteil werden. 

(02) Ansprechpartner für vertragliche Aspekte und für die Durchführung der Ausschreibung: 
Frau Reinhold: 0721/9726-5180, ausschreibung@baw.de. 

Herr Damrau: 0721/9726-3630 sowie +49(0)1 72-89881 54, thomas.damrau@baw.de. 

Ansprechpartner für fachliche Aspekte: 

Herr Thomas Damrau, 

Herr Jacek Jankowski (Modellverfahren „TELEMAC“), jacek.jankowski@baw.de 
Herr Carsten Thorenz (Modellverfahren „NaSt3DGP“), carsten.thorenz@baw.de 

Die nachfolgende Aufstellung gibt Ihnen an, zu welchen Zeiten die Ansprechpartner nicht 
erreichbar sind: 

Herr Damrau 

Herr Jankowski 23.12.-31.12.2009 

HerrBrudy 24.12.2009-06.01.2010 

Herr Thorenz 23.12.-31.12.2009 

Bieterfragen senden Sie bitte ausschließiich schriftlich an: ausschreibung@baw.de 

(03) Die Ausschreibung ergänzende oder berichtigende Angaben werden allen Bietern gleich- 
zeitig schriftlich mitgeteilt. 

(04) Das Angebot ist in 2 Exemplaren in deutscher Sprache zu übermitteln. 

(05) Fallen dem Bieter bei der Angebotserstellung Widersprüche auf oder fehlen wesentliche 
Informationen in den Verdingungsunterlagen, so ist der Bieter verpflichtet, darauf hinzu- 
weisen und diese mit der ausschreibenden Stelle zu klären. 

(06) Das Angebot muss bei der ausschreibenden Stelle bis 01.02.2010 vorliegen und den Ver- 
merk tragen: 

"Angebotsabgabe zur Ausschreibung 

Ersatzbeschaffung Compute Server, BAW 25/2009-CS“ 



(07) Angebote, die aus Gründen, die der Bieter zu vertreten hat, verspätet eingehen, werden 
nicht berücksichtigt. 
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(08) Angebote, deren verspäteter Eingang nachweislich durch Umstände verursacht ist, die 
außer aller Schuld der Bieter liegen, können berücksichtigt werden. 


(09) Die Entscheidung über den Zuschlag wird bis zum 17.03.2010 erfolgen. Die Gültigkeit des 
Angebotes (Bindefrist) hat sich deshalb bis zu diesem Zeitpunkt zu erstrecken. 

(10) Der Zuschlag wird innerhalb der Zuschlagsfrist schriftlich mitgeteilt. 

(1 1 ) Am 03.03.2009 erfolgt eine Bieterinformation nach § 1 01 GWB. 

(12) Eine Aufhebung der Ausschreibung (ganz oder teilweise) wird den Bietern schriftlich mit- 
geteilt. 

(13) Wünscht der Bieter die Rückgabe von Unterlagen, die das Angebot ergänzen, so hat er 
diese innerhalb 24 Werktagen nach Ablehnung oder durch Hinweise im Angebot zurück- 
zufordern. 

(14) Zulässigkeit von Änderungsvorschlägen oder Nebenangeboten: 

Q ja, auf besonderer Anlage 

Kl nein. 

(15) Berichtigungen und Änderungen zu abgelieferten Angeboten sowie die Zurückziehung 
eines Angebotes können bis zum Abgabetermin vorgenommen werden. Diese sind 
schriftlich mitzuteilen. 

Der Briefumschlag muss den deutlichen Vermerk tragen: 

"Änderungen zur Angebotsabgabe 

Ersatzbeschaffung Compute Server • BAW 25/2009-CS“ 


(16) Die Ausschreibungsunterlagen dürfen nur zur Erstellung eines Angebotes verwendet wer- 
den; jede Veröffentlichung (auch auszugsweise) ist ohne die ausdrückliche Genehmigung 
der ausschreibenden Stelle nicht statthaft. Die dem Bieter für Benchmarkuntersuchungen 
übergebenen Datenträger dürfen nur an den zuständigen Mitarbeiter des Bieters gegeben 
werden. Dieser Mitarbeiter ist verpflichtet, diese Datenträger vor dem Zugriff anderer zu 
schützen. Nach Durchführung der Ausschreibung bzw. Abnahme des Systems sind die 
Datenträger an die ausschreibende Stelle zurückzugeben und die Daten von allen für die 
Benchmarkuntersuchungen genutzten Rechneranlagen zu löschen. 

(17) Der Bieter muss den Datenträger für die Benchmarkuntersuchungen nach Beurteilung 
dieser Ausschreibungsunterlage schriftlich bei der BAW anfordern. Die Anforderung muss 
mindestens folgende Informationen beinhalten: Bezug auf das Geschäftszeichen: BAW 
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25/2009-CS sowie Angabe des Datums, an dem diese Ausschreibungsunterlage beim 
Bieter eingetroffen sind. Der Datenträger wird ausschließlich an Firmen versendet, wel- 
che diese Ausschreibungsunterlage bei der BAW angefordert haben. 

Die Adresse für die Anforderung des Datenträgers lautet: 

Bundesanstalt für Wasserbau 
z.Hd. Herr Stacy Walter 
Kußmaulstr. 17, 76187 Karlsruhe, 

Telefax: 0721-9726-2520, 
eMail: stacy.walter@baw.de 

(18) Der Bieter hat - auch nach Beendigung der Angebotsphase - über die ihm bei seiner Tä- 
tigkeit bekannt gewordenen dienstlichen Angelegenheiten Verschwiegenheit zu be- 
wahren. Er hat hierzu auch die bei der Erstellung des Angebotes beschäftigten Mitarbeiter 
zu verpflichten. 

(19) Im Falle eines Zuschlages werden die Anforderungen aus den Verdingungsunterlagen in 
Verbindung mit der Leistungsbeschreibung aus dem Angebot Bestandteile des Vertrages, 
der auf Grundlage folgender Vertragsbedingungen geschlossen wird: 

Allgemeine Vertragsbedingungen für die Ausführung von Leistungen (VOL/B) 
Zusätzliche Vertragsbedingungen (ZVL) für die Ausführung von Leistungen 
(11/2005) 

Ergänzende Vertragsbedingungen für den Kauf von Hardware (EVB-IT Kauf)- 
Fassung vom 01.04.2002. Weitere Informationen zu EVB-IT auch unter 
www.cio.bund.de 

Ergänzende Vertragsbedingungen für die Instandhaltung von Hardware (EVB- 
IT Instandhaltung) - Fassung vom 01.04.2002. Software (EVB-IT Pflegever- 
trag)- Fassung vom 13.02.2003. Weitere Informationen zu EVB-IT auch unter 
www.cio.bund.de 

Die allgemeinen Geschäftsbedingungen des Bieters werden nicht anerkannt. 

Ein Beifügen oder Anführen in den Angebotsunterlagen führt zum Ausschluss. 

(20) Für die Erstellung des Angebotes wird keine Vergütung gewährt. 

(21) Für die Abgabe des Angebotes ist der beiliegende Vordruck, versehen mit rechtsverbindli- 
cher Unterschrift und Firmenstempel, zu verwenden (siehe Anlage 2). 

(22) Eine Verpflichtung zur Auftragsvergabe besteht nicht. Sie muss insbesondere dann aus- 
geschlossen werden, wenn die für das Vorhaben eingeplanten Finanzierungsmittel nicht 
oder nicht in voller Höhe bewilligt werden können. 

(23) Erfüllungsort ist die BAW Dienststelle Karlsruhe. 
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(24) Gerichtsstand ist Mainz. 
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4 Zusätzliche Ausschreibungsbestimmungen 

Das Angebot soll mit einem standardisierten Anschreiben in 7 Hauptkapitel gegliedert sein. 
Die Überschriften der Kapitel werden Ihnen nachfolgend angegeben und erläutert. 

Anschreiben des Bieters entsprechend beigefügtem Angebotsvordruck (Anlage 2) 

Füllen Sie den beigefügten Angebotsvordruck mit Ihren Daten aus; der vorgeschriebene Text 
kann durch Ihnen wichtig erscheinende Aussagen ergänzt werden. Schließen Sie den 
Vordruck mit Datum, Firmenstempel und rechtsverbindlicher Unterschrift ab. 

Wird die Anqebotserklärunq nicht mit dem Angebot vorqeleqt bzw. vorqeleqt, jedoch 
nicht unterschrieben/siqniert gilt das Angebot als nicht abgegeben. 



(01) Zusammenfassung der anqebotenen Leistung 

Ihre Ausführungen sollen kurz und knapp bleiben, da diese Zusammenfassung nicht explizit 
bewertet wird. Die Bewertung erfolgt für das Kapitel „Angebotene Leistungen“. 

Bringen Sie in der Zusammenfassung alle aus Ihrer Sicht wichtigen Angaben und 
Voraussetzungen für die Erfüllung Ihrer angebotenen Leistungen. 

Zur besseren Einführung in Ihr Angebot sollten Sie an dieser Stelle die angebotene Leistung 
beschreiben, insbesondere sollten Sie eine schematische Übersicht über die angebotene 
Hard- und Software geben. Dabei kann z.B. auf folgende Fragen eingegangen werden: 

• Welchen Systemausbau bieten Sie an, wie ist die Skalierbarkeit? 

• Welche Anforderungen bestehen insgesamt hinsichtlich Raumbedarf, Klimatisierung, 
Leistungsaufnahme? 

• Wie erfolgt die Einbindung in das bestehende Netzwerk? 

• Welche Software beinhaltet Ihre Lösung? Welche Vorteile bietet diese? 

(02) Nicht erfüllbare Anforderungen der Leistunqsbeschreibunq bzw. des Fraqenkataloqs 

Anlage 4 enthält eine Erklärung zur Erfüllung der Ausschlusskriterien. Diese ist zu 
unterschreiben/zu signieren und mit dem Angebot zu übermitteln. Gibt es in der 
Leistungsbeschreibung oder im Fragenkatalog weitere Anforderungen, die Sie nicht erfüllen 
können? Falls ja, listen Sie bitte die Einzelposition(en) aus dem Fragenkatalog mit einer kurzen 
Begründung auf. 

Gibt es in der Leistungsbeschreibung weitere Anforderungen, die sie nicht erfüllen können? 
Falls ja, listen Sie bitte die Einzelposition(en) mit einer kurzen Begründung auf. 
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(03) Anqebotene Leistungen 

In diesem Kapitel ist die angebotene Leistung auf Grundlage der Spezifikationen der 
Leistungsbeschreibung klar und übersichtlich darzustellen. 

• Beachten Sie bitte, dass Ihre Beschreibungen das Wesentliche enthalten und 
das Unwesentliche vermeiden (längere Texte erhalten nicht automatische eine 
höhere Bewertung). 

• Geben Sie für jedes einzelne Leistungskriterium eine Antwort. 

• Nummerieren Sie die Antworten gemäß Nummerierung der Leistungskriterien 
in dieser Ausschreibungsunterlage durch (z. B. B.III.2 <Antwort zur Kriterien- 
hauptgruppe B, Kriteriengruppe III, Frage Nr. 2>) 

• Nicht eindeutig zugeordnete Antworten werden nicht bewertet. Bloße Verwei- 
se auf Prospektangaben bzw. auf Datenträger übergebene Dateien werden 
bei der Angebotswertung nicht berücksichtigt. 

(04) Struktur und Größe Ihres Unternehmens 

Stellen Sie die Umsatzentwicklung, wirtschaftliche Situation und Struktur und Größe des 
Unternehmens dar und beschreiben Sie die für die Durchführung der Leistungen zuständigen 
Bereiche. Fügen Sie ein Firmenprofil bei. 

Bitte geben Sie Referenzen der letzten 3 Jahre an (siehe Anlage 1 , Abschnitt 3.1 sowie Anlage 
5 Teil: A.III.4-6). Die Referenzen sollen mindestens hinsichtlich Nutzungs- und Betriebskonzept 
sowie installierter Rechenleistung in etwa dem in dieser Ausschreibung geschilderten 
Anforderungsspektrum entsprechen. 

(05) Unterauftraqnehmer und Konsortialpartner 

Nennung aller Unterauftragnehmer bzw. Konsortialpartner, die vom Bieter mit eingesetzt 
werden sollen. Der Einsatz ist zugelassen, wenn der Bieter für alle angebotenen Leistungen 
über einen Hauptansprechpartner (Projektleiter) verfügt. Ferner müssen dem Auftraggeber alle 
beteiligten Firmen bekannt gemacht werden. (Siehe hierzu Anlage 7 und Anlage 8) 

Der Bieter soll eine entsprechende Verpflichtungserklärung der Unternehmen vorlegen, aus 
welcher ersichtlich wird, dass dem Bieter die erforderlichen Mittel für die Erfüllung des 
Auftrages zur Verfügung stehen. 

Welches sind Ihre Gründe für die Beteiligung anderer Firmen / Einrichtungen? 

(06) Ansprechpartner Proiektteam beim Auftraqnehmer 
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Darstellung Ihres vollständigen Projektteams (einschl. Ausbildungs- bzw. Erfahrungsprofil der 
Projektmitarbeiter), welches von Ihnen bei Auftragserteilung zur Durchführung der Leistungen 
eingesetzt werden soll. 

(07) Preisübersicht 

Die Kosten sind in der vorgegebenen Form zusammen zu stellen (siehe Anlage 3). Dieser 
muss signiert (unterschrieben) dem Angebot beigefügt sein. Die Abgabe des PDF-Abdrucks 
ohne Signatur (Unterschrift) führt zum Ausschluss aus dem weiteren Verfahren. 

Die Preiszusammenstellung muss alle angebotenen Leistungen erfassen. 
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5 Bewertung der Angebote 

Zur Bewertung der Angebote wird eine verfeinerte Multifaktorenmethode in Anlehnung an die 
Unterlage für die Ausschreibung und Bewertung von IT-Leistungen (UfAB, vgl. www.kbst. 
bund.de) angewandt. Der Kriterienkatalog sowie die Bewertungsmatrix bestehen aus insge- 
samt 8 Kriterienhauptgruppen. Diese enthalten jeweils mehrere Kriteriengruppen welche 
wiederum aus mehreren Einzelkriterien bestehen. 

Es ist eine Gewichtungsfunktion eingeführt worden, welche die Gewichte für die Kriterien- 
gruppe und das Einzelkriterium berücksichtigt. Alle Gewichte werden Ihnen mit der als Anla- 
ge 5 beigefügten Bewertungsmatrix bekannt gemacht. 

Die ausschreibende Stelle vergibt für jede Antwort pro Einzelkriterium eine Bewertungszahl 
aus dem Intervall [0, 10] nach objektiven, nachvollziehbaren Kriterien. 

Sie können mit der Gewichtungsfunktion (Multifaktorenmethode) durch Ihr Angebot maximal 
10.000 Punkte erreichen. Dies setzt voraus, dass Sie für die Antwort auf jede gestellte Frage 
eine Bewertungszahl (Bewertung) von 10 erzielen. 

Die Leistungsbeschreibung enthält Ausschlusskriterien / Mindestanforderungen. Die- 
se sind in der Bewertungsmatrix (Anlage 5) mit „A“ gekennzeichnet und in der Anlage 
4 (Erklärung zur Erfüllung der Ausschlusskriterien) explizit aufgeführt. 



5.1 Erläuterung zu den Bewertungskriterien 

Die Ausschlusskriterien unterliegen keiner Bewertung. 

Soweit in der Leistungsbeschreibung ausdrücklich die technischen Spezifikationen bzw. 
Ausstattungen angegeben sind, so sind diese als Sollmerkmale (Erwarteter Wert) zu verste- 
hen. Die Erfüllung der Sollmerkmale führt zur Erreichung der maximal möglichen Punktzahl. 
Sind die entsprechenden Komponenten bzw. Leistungen nicht bzw. nur mit geringeren Leis- 
tungsparametern im Angebot enthalten, so führt dies zur Abwertungen. Sind die entspre- 
chenden Komponenten bzw. Leistungen nicht im Angebot enthalten, erhält der Bieter bei der 
Bewertung des entsprechenden Kriteriums keine Punkte. 

Die Bewertung der Benchmarks erfolgt über ein Punktesystem mit max. 10 Punkten pro 
Benchmark bei Erreichung des Erwarteten Wertes (soweit genannt). Die weiteren Bieter wer- 
den entsprechend skaliert. 

Für alle anderen Kriterien gilt, dass jeweils der Bieter mit dem besten Angebot bezogen auf 
das Einzelkriterium die volle Punktzahl erhält. Die weiteren Bieter werden entsprechend ska- 
liert. 
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5.2 Erweiterte Richtwertmethode 

Die Bestimmung des wirtschaftlichsten Angebotes erfolgt nach der erweiterten Richtwertme- 
thode (UfAB IV). 

Hierbei wird neben dem Leistungs-Preis-Verhältnis (Schritt 1) ein Schwankungsbereich defi- 
niert (Schritt 2). Die Angebote werden darin selektiert, d. h. ausgehend von der Höchstpunkt- 
zahl wird der Schwankungsbereich abgezogen und es werden die darin befindlichen Ange- 
bote ermittelt. Zur Bestimmung des wirtschaftlichsten Angebotes wird ein weiteres Entschei- 
dungskriterium herangezogen (Schritt 3). 

Für diese Ausschreibung gilt: 

Formel für das Leistungs-Preis-Verhältnis (Schritt 1): 

Z = L / P 

Z = Kennzahl für Preis-Leistungs-Verhältnis. 

L = Gesamtsumme der Leistungspunkte 
P = Preis (Euro) 

Festgelegter Schwankungsbereich (Schritt 2): 10 % 

Entscheidungskriterium (Schritt 3): Punktzahl in der Hauptgruppe „Bench- 

marks“ (anhand der Bewertungsmatrix 
ermittelte Leistungspunkte) 
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1 Standards und Normen 

Für die Ersatzbeschaffung des Compute Servers (Ersatzlösung) müssen die bestehenden 
Standards und Normen eingehalten werden und es muss die Möglichkeit einer Anpassung 
an zukünftige Normen gegeben sein. Geben Sie alle Standards und Normen in einer Liste 
an, die im Rahmen Ihrer Ersatzlösung eingehalten werden. 

Soweit im Leistungsverzeichnis auf Technische Spezifikationen (z.B. nationale Normen, mit 
denen europäische Normen umgesetzt werden, europäische technische Zulassungen, ge- 
meinsame technische Spezifikationen, internationale Normen) Bezug genommen wird, wer- 
den auch ohne den ausdrücklichen Zusatz: "oder gleichwertig", immer gleichwertige Techni- 
sche Spezifikationen in Bezug genommen. 


2 Nutzungsbereich und Systemanforderungen 


2.1 Benutzerkreis 

In der Abteilung Wasserbau werden die vorhandenen Compute Server von ingenieurwissen- 
schaftlichen und technischen Mitarbeitern aller fünf Referate genutzt. Der Benutzerkreis um- 
fasst ca. 27 Personen, von denen 6 Mitarbeiter die numerischen Verfahren weiterentwickeln. 
Durch teamorientierte, institutionalisierte Zusammenarbeit ist eine gemeinsame Absprache 
zur optimalen Nutzung der Rechnerressourcen zu jeder Zeit gegeben. Die Arbeit mit dem 
Rechnersystem ist für die meisten Nutzer nur ein Teil ihres weiten Aufgabenspektrums. 


2.2 Zu ersetzendes System 

Die BAW betreibt in Karlsruhe eine Altix3700 Bx2 der Firma SGI. Die wesentlichen Leis- 
tungsdaten des derzeit installierten Systems sind: 

Hardware: 2 Systempartitionen in getrennten Gehäusen: 256 ergänzt um 48 CPUs (vom 
Typ Itanium2 1,6 GHz), 256 und 48 GB Hauptspeicher, 4 und 2 TB Plattenspeicher, 6x 1 
Gbit/s und Ix 10 Gbit/s Ethernet, Stromverbrauch der beiden Partitionen durchschnittlich 
etwa 34 KW. 

Betriebsystem, Batchsystem, Software: Linux, SuSE Enterprise Server 10.0 from Novell 
for Altix Servers (IA-64), PBS Pro 9.1, gemeinsam übergreifend für beide Systempartitionen, 
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Nutzung von CPU-Sets, Preempting, aber keine Job-Migration bzw. Checkpointing, Software 
aus der Linux Distribution SuSE Enterprise Server 10.0 mit übiichen GNU Linux Toois, SGi 
Message Passing Tooikit, Array Services, intei itanium Prozessor Compiiers (C, C++, Fort- 
ran) mit intei OpenMP, Profiiing mit SGi histx-Toois. 

Leistung; fioating point Appiikationsieistung gemessen mit SGi Tooi histx für reievante Ver- 
fahren für unterschiediiche ortspezifische Modeiie: Teiemac2D(MPi) ca. 350-500 
MFLOPS/Prozessor. (Theoretische Peak Performance pro Prozessor: Hersteiierangabe ca. 
6 GFLOPS/Prozessor.) 

Über den 10 GBit/s-Anschiuss kann per NFS auf weitere, zentraie Fiiesysteme in der BAW 
Karisruhe zugegriffen werden (Biid 1). 


zentrale Systeme BAW-KA 

Übersictit Sland: Dezember 2009 



ersMIt: Thcnss Damrau 

Datei; Storage-l^0ez-2009.vsd. zenrale 

N^erre Dez_09 J 


Bild 1: Einbindung Compute Server in die Systemarchitektur der BAW Karlsruhe 
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2.3 Bau- und anlagentechnische Umgebung 

Im Keller von Haus 2 der BAW Karlsruhe befinden sich zwei Technikräume für Server. Bild 2 
zeigt die Raumabmessungen im Grundriss. Für die Anlieferung ist das Gebäude über eine 
Schräge sowie auch über eine Laderampe erreichbar. Für den Transport in den Keller steht 
neben einer 1,5 m breiten Treppe ein Fahrstuhl zur Verfügung. Die Maße sind: Fahrstuhltür 
(B, H) 1,00m X 1,96m; Innenmaß (B, H, T) 1,18m x 1,96m x 1,55m; Tragfähigkeit max. 
750kg. Die Maße für den Durchgang in den Technikraum betragen (B, H) 0,87m x 1 ,96m. 

Für die Aufstellung der Ersatzlösung geben die baulichen und klimatechnischen Randbedin- 
gungen vor, dass der Server 

• im hinteren der beiden Räume untergebracht werden muss, in welchem derzeit die SGI 
Altix untergebracht ist. 

• die bereits in dem Raum vorhandenen Einrichtungen für die Elektroverteilung und Klima- 
steuerung derart zugänglich lässt, wobei davor ein Rangierraum von 1,00 m Tiefe ge- 
währleistet sein muss. 

• eine maximale Tiefe 1,5 m nicht überschreiten soll. Die maximale Tiefe darf bis zu 3,0 m 
betragen soweit gewährleistet ist, dass die nicht an das Kaltwasser-Kühlsystem abgege- 
bene Wärme in der Mitte des Servers nach oben abgegeben wird. 

• eine Bauhöhe von 2,55 m nicht überschreitet. Innerhalb einer Zone von 1,00 m vor der 
Fensterreihe darf die Bauhöhe maximal 2,25 m betragen 

• höchstens 15 KW Wärmelast an die Luft abgeben darf. Für die Abgabe darüber hinaus 
gehender Wärmelasten steht ein Anschluss an das vorhandene Kaltwasser-Kühlsystem 
zur Verfügung. 

• an das vorhandene Leitungssystem für den Kaltwasserkreislauf angeschlossen werden 
muss. Die vorhandenen Querschnitte in den für diesen Technikraum reservierten Zu- und 
Ableitungen sind jeweils DN50 und können nicht verändert werden. Der Kaltwasseran- 
schluss des Servers soll mit Hilfe der derzeit vorhandenen 5 Anschlussstutzen, jeweils 
DN25 für Zu- und Ablauf und eigene Absperrventile, realisiert werden. Bei Bedarf können 
die Anschlussstutzen auf bis zu DN50 erweitert werden. 

Der Bieter muss zuverlässig abschätzen, ob das von ihm angebotene System im zuvor be- 
schriebenen Technikraum untergebracht werden kann. 

Die elektrischen Anschlüsse stehen nach Bedarf zur Verfügung. Die BAW erwartet, dass 
sich die relativen Energiekosten durch Einsatz von moderner Rechnertechnologie weiter re- 
duzieren lassen. 
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Bild 2 Technikraum Keller, Haus 2 
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2.4 Bisheriges Nutzungskonzept, Ist-Zustand 

Der Compute Server (CS) der BAW Karlsruhe wird im bedienerlosen 24-Stunden-Betrieb 
gefahren und steht daher Tag und Nacht, an Sonn- und Feiertagen, rund um die Uhr zur Ver- 
fügung. Zur Charakterisierung der CS-Nutzung werden die Arbeitsweise der Mitarbeiter 
dargestellt und spezielle systemtechnische Aspekte beleuchtet. 


2.4.1 Arbeitsweise 

Die Wasserstraßen und Verkehrswasserbauwerke Deutschlands sind sehr vielgestaltig. 
Kernkompetenz der BAW ist die Erarbeitung von praxisnahen Lösungen sehr komplexer ver- 
kehrswasserbaulicher Aufgabenstellungen für die Wasser- und Schifffahrtsverwaltung des 
Bundes (WSV). Ein Großteil der Lösungsstrategien lässt sich als „forschende Ingenieurleis- 
tungen“ klassifizieren. Sie erfordern sowohl für die Erarbeitung von Programmcodes als auch 
bei erstmaliger Anwendung numerischer Verfahren auf neue Fragestellungen ein hohes Maß 
an unmittelbarer Rückkopplung zwischen Bearbeiter und numerischer Applikation. Die Sach- 
bearbeiter müssen Veränderungen an vorhandenen Modellen und Programmen vornehmen 
und dabei kurzfristig deren Wirkung überprüfen. 

Aus den stetig wachsenden und sich wandelnden Anforderungen der WSV ergibt sich eine 
enorme Vielfalt sehr unterschiedlicher Fragestellungen, die diese Arbeitsweise notwendig 
macht. Häufigkeit und Umfang der Modellrechnungen können nur als Mittelwert über viele 
Projekte geplant werden. Für ein spezifisches Projekt hängt die genaue Entwicklung des 
Rechenbedarfs erfahrungsgemäß davon ab, wie sich die Fragestellung im Projektverlauf 
durch den Erkenntnisgewinn entwickelt. Auf Grund der Komplexität des dreidimensionalen 
Strömungsgeschehens ist somit die Entwicklung der Aufgabenstellung bei Projektbeginn 
nicht immer absehbar. Hieraus folgt oftmals, dass der Bearbeiter sukzessive erhebliche Ver- 
änderungen am aufgebauten Modell, an den Auswerteskripten und ggf. am Modellverfahren 
mit Eingriff in den Quellcode vornehmen muss. Letzteres bedeutet, dass Kontrollläufe zum 
Test und zur Validierung des veränderten Rechencodes erforderlich sind. Daraus ergibt sich 
die Notwendigkeit eines direkten und schnellen Zugriffs auf Rechenressourcen. 

Die in der Abteilung Wasserbau im Binnenbereich der BAW eingesetzten Modelle sind aus- 
nahmslos zur Untersuchung der oben näher beschriebenen speziellen fachlichen Fragestel- 
lungen aufgebaut. Es kommt verhältnismäßig oft vor, dass das Modellgebiet erweitert wird, 
die räumliche Auflösung verfeinert wird, für verschiedene Varianten verschiedene Geomet- 
rien des Untersuchungsgebietes diskretisiert werden oder unterschiedlich lange Zeiträume 
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mit voneinander differierenden charakteristischen (physikalischen) Systemzuständen unter- 
sucht werden. Ein großer Teil der Modelle wird also nicht im wiederkehrenden Routinebe- 
trieb eingesetzt, sondern sie müssen vielmehr in einem fortlaufenden Adaptionsprozess an 
die Fragestellungen der Auftraggeber angepasst werden. Häufige Variationen von Modell- 
rechnungen, die z.T. ad hoc durchgeführt werden müssen (z. B. Klärung einer neuen Frage- 
stellung während eines Planfeststellungsverfahrens), machen ein hohes Maß an Flexibilität 
erforderlich. 

Darüber hinaus ist eine stetige Anpassung der den Modellen zugrunde liegenden mathema- 
tischen Modellverfahren notwendig. Spezielle Fragestellungen machen es immer wieder er- 
forderlich, die Verfahren mit zusätzlichen Funktionen auszustatten. Das fachwissenschaftli- 
che Personal der BAW, führt daher bestimmte Entwicklungsarbeiten selbständig durch. Wei- 
terhin müssen die Codes laufend an die neuen Entwicklungen auf dem Hardwaremarkt an- 
gepasst werden, um eine optimale Ausnutzung der marktverfügbaren Rechenleistung zu 
gewährleisten (langfristig beispielsweise die Nutzung von GPU-Konzepten). 

Jeder Anwender aus der Abteilung Wasserbau im Binnenbereich meldet sich von seinem 
Arbeitsplatzrechner am Compute Server an und lässt seine Programme ausführen. Die Nut- 
zung des Compute Servers erfolgt im Stapelbetrieb (Queueing-System). Ausführbare Pro- 
gramme werden in eine Warteschlange eingereiht und nach festgelegten Prioritäten abgear- 
beitet. Das Batchsystem PBS Pro übernimmt automatisch die optimale Ressourcenzuwei- 
sung (Rechenzeit und Speicher) und überwacht das Geschehen. Das Batchsystem erlaubt 
zusätzlich eine gerechte Verteilung dieser Ressourcen zwischen den Benutzern. Zusätzlich 
werden Maßnahmen getroffen, um die möglichst korrekte Umgebung zur Ausführung von 
parallelen Rechenläufen zu schaffen (z.B. Job-Platzierung mit CPU Sets, angepasste Batch 
Queues). Die Einstellungen des Batchsystems entsprechen der typischen Arbeitsweise mit 
einem Compute Server und sind an die Anforderungen in der BAW angepasst. Während der 
normalen Arbeitszeit ist es möglich kürzere Jobs mit höherer Priorität durchzuführen, welche 
die Jobs niedrigerer Priorität und langer Laufzeit sogar vollständig verdrängen können (Job 
Preempting). In der Nacht und an Wochenenden wird die Produktion mit dem höchstmögli- 
chen Durchsatz und den optimalen Bedingungen für parallele Jobs stark bevorzugt. 

Die oftmals sehr großen Ergebnisdatensätze der Berechungen werden im Allgemeinen unter 
intensiver Nutzung von elaborierten Skripten die auf Unix Tools (unter anderem: awk, sed, 
...) aufbauen, automatisiert bearbeitet, ausgewertet und archiviert. Datensätze unterschiedli- 
cher Quellen und Formate werden so zwecks Nutzung BAW-spezifischer integraler Bewer- 
tungsansätze (z.B. Statistik, Vereinfachung, Zusammenfassung, Variantenvergleiche, ...) 
zusammengeführt. Diese Skripte müssen sowohl am Arbeitsplatz PC (APC) als auch auf 
dem Compute Server intensiv und effizient eingesetzt werden. 
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Der Compute Server steht teilweise auch für interaktive Nutzung zur Verfügung. Diese Nut- 
zung besteht u.a. aus der interaktiv gestützten Programmentwicklung, dem Debuggen von 
Software, dem Editieren von Modellsteuerdateien etc. Die automatisierten Auswerteskripte 
werden meist interaktiv gestartet. Die Ergebnisdaten von Rechenläufen werden auf temporä- 
re Dateisysteme des Compute Servers geschrieben und später auf Dateisysteme des File 
Servers kopiert. Bei kleineren Rechenläufen wird auch direkt auf Dateisysteme des File Ser- 
vers geschrieben. 

Die auf den Dateisystemen des Compute Servers abgelegten Daten sind direkt von den 
APCs der Nutzer aus zum Zweck der Auswertung und Visualisierung von Ergebnissen und 
Anpassung von Steuerdateien erreichbar 


2.4.2 Systemtechnische Aspekte 

♦ Alle von der Abteilung Wasserbau eingesetzten Modellverfahren können die vorhandene 
parallele Architektur der Maschine in unterschiedlich effizienter Weise ausnutzen. 

♦ Die (theoretische) Spitzenleistung von 6 GFLOPS/Prozessor kann nur bei einer unend- 
lich langen Abfolge von idealen Operationen (eine Multiplikation und eine Addition je Ma- 
schinentakt) erreicht werden. Reale Programme können diesen Wert nicht erreichen, da 
die durchzuführenden mathematischen Operationen nicht immer ideale Operationen sind 
und darüber hinaus die CPU auch gänzlich andersgeartete Operationen (logische Ver- 
knüpfungen, Daten-l/0, etc.) ausführen muss, welche zu ihrer Abarbeitung stets mehrere 
Maschinentakte benötigen. 

Bei Benchmarks wurden für Modellverfahren der Abteilung Wasserbau Werte von 150 bis 
zu 500 MFLOPS/Prozessor gemessen. 

♦ Der Grad der CPU-Auslastung ist ein Maß dafür, inwieweit während eines jeden Maschi- 
nentaktes eine Instruktion ausgeführt wird, die CPUs also beschäftigt sind. Die eingesetz- 
ten Modellverfahren erzielen bei alleiniger Ausführung (keine Konkurrenz durch andere 
Rechenprogramme) eine Auslastung der CPUs von 65-99 %. Der Grad der erreichbaren 
Auslastung hängt hierbei insbesondere vom Parallelisierungsgrad des Programms und 
der Größe des bearbeiteten Problems ab. Die über mehrere Monate mögliche 
CPU-Auslastung liegt typischerweise bei 70 % bis 80 %. Die Spitzenauslastungen, die 
auch über einen Zeitraum von mehreren Tagen auftreten können, liegen oftmals über 
95 %. 
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2.5 Zukünftiges Nutzungskonzept, Sollzustand 

Im Vergleich zur bisherigen Nutzung wird vor allem die Phase des arbeits- und rechenzeit- 
intensiven iterativen Modellaufbaus an Bedeutung gewinnen. Das bedeutet, dass zahlreiche 
Kontrollläufe zum Test der im Aufbau befindlichen Modelle erforderlich sind. Die Resultate 
der Testläufe müssen zur Fortführung des Modellierungsprozesses als voller Datensatz für 
das Postprocessing auf eigens dafür vorgehaltenen Grafikressourcen visualisiert bzw. mit 
speziellen Skripten z.T statistisch ausgewertet werden können. Daraus ergibt sich die Not- 
wendigkeit eines direkten und schnellen Zugriffs auf Rechenressourcen und Speicherme- 
dien. 

Die im vorangegangenen Abschnitt beschriebene Notwendigkeit der stetigen Anpassung der 
den Modellen zugrunde liegenden mathematischen Modellverfahren wird sich weiter verstär- 
ken. Derartige Entwicklungen werden sich zukünftig primär auf Funktionen konzentrieren, die 
über festgelegte Softwareschnittstellen mit dem eigentlichen Kern des Verfahrens verbunden 
werden. Ziel dieser Vorgehensweise ist es, Entwicklungskooperationen zwischen verschie- 
denen Institutionen auf einer langfristig abgesicherten Grundlage weiter zu entwickeln. Um 
derartige Entwicklungsarbeiten bzw. -kooperationen effizient durchführen zu können, ist ein 
direkter Zugriff auch von externen Nutzern und Entwicklern auf die Compute Server der BAW 
unabdingbar. 

Im Rahmen der zukünftigen Projektbearbeitung werden folgende Aufgaben einen wesentli- 
chen Anteil an der Nutzung des neuen Compute Servers haben: 

• Zweidimensionale und dreidimensionale Modellierung von Flussläufen, in stationären und 
instationären Zuständen. 

• Instationäre mehrdimensionale Modellierung von morphodynamischen Prozessen ein- 
schließlich der dafür erforderlichen Langzeituntersuchungen. 

• Dreidimensionale Modellierung von Bauwerksumströmung und der Interaktion Schiff - 
Wasserstraße. 



2.5.1 Speicherung und Auswertung der Daten 

Eine zunehmende Rolle spielt die Speicherung und Auswertung der erzielten Resultate, die 
zurzeit als problematisch angesehen wird. 
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Nach den Erfahrungen der BAW in der Vergangenheit konnten diese Aufgaben durch geziel- 
ten Einsatz von spezialisierten File- und Grafikservern am besten bewältigt werden. Die bis- 
herigen Compute Server wurden daher ausschließlich für das „number crunching“ und in 
geringem Umfang für Softwareentwicklungsaufgaben vorgesehen. 

Durch die zunehmende Menge der Daten wird nun aber durch die Nutzer für die Auswertung 
von Zwischenergebnissen, insbesondere bei zahlreichen betrachteten Varianten, auch direkt 
auf das globale Speichersystem des Compute Servers zugegriffen, und nur ausgewählte 
(beste) Ergebnisse werden später, nachdem sie wie oben beschrieben mit speziellen Skrip- 
ten verarbeitet wurden, zur weiteren Bearbeitung zu dedizierten File- bzw. Grafik-Servern 
transferiert. Daher müssen die zur Speicherung der Rechenergebnisse vorgesehenen Plat- 
tensysteme des Compute Servers von den APCs der Nutzer als Filesysteme direkt einbind- 
bar sein, d.h. der Compute Server muss auch die Aufgabe eines File Servers für die Re- 
chenergebnisse übernehmen. 

Für sehr große Ergebnisdatensätze könnte die Visualisierung der Ergebnisse im Client- 
Server-Betrieb unmittelbar auf dem Compute Server erfolgen, beispielsweise mit Para View. 

Diese Arbeitsteilung setzt eine exzellente Netzwerkverbindung zwischen dem Compute Ser- 
ver und den angebundenen Systemen voraus, stellt aber auch erhebliche Anforderungen an 
die Ausstattung und Dimensionierung des Zugangs zum Rechner, der dieser Arbeitsweise 
gewachsen sein muss. 


2.5.2 GPU-Konzept 

Die BAW prüft die Nutzung von neuen Rechnerarchitekturen mit Hardware-Beschleunigern. 
Dabei wird zurzeit an ein Rechnercluster bestehend aus Knoten mit Multi Core CPUs und 
GPUs bzw. anderen Hardwarebeschleunigern gedacht. Dies ist durch die Tatsache bedingt, 
dass einige von diesen Verfahren potentiell alle Ebenen der Parallelität auf hybride Weise 
nutzen können, wobei insbesondere die Option der Beschleunigung der feinkörnigen vekto- 
riellen Operationen sehr attraktiv zu sein scheint. Zusätzlich erwartet die BAW durch die An- 
passung der Modellverfahren Vorteile bei der Wirtschaftlichkeit des Hochleistungsrechnens 
im Sinne der erzielten rechnerischen Leistung pro Einheit verbrauchter elektrischer Leistung 
zu erzielen. 

Auch die Nutzung von verteilten GPUs durch Visualisierungssoftware wird derzeit in der 
BAW betrachtet. Verschiedene Visualisierungsprogramme (ParaView, Ensight) bieten die 
Option, im Client-Serverbetrieb zu arbeiten und so separate GPUs zum Betrachten großer 
Datenmengen zu verwenden. 
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Falls technisch möglich, sollten diese Entwicklungen durch eine Anpassung bzw. Erweite- 
rung der Ersatzlösung unterstützt werden. Ein Teil der Ersatzlösung könnte bereits zum Zeit- 
punkt der ersten Installation entsprechend ausgerüstet sein. 


2.6 Leistungsbedarf der Ersatzlösung 

Die Dimensionierung des neuen Compute Servers hängt im Wesentlichen von den aktuellen 
Aufgaben der BAW und deren zukünftigen Entwicklungen ab. Die Ersatzlösung muss flexibel 
konzipiert sein, um innerhalb der nächsten Jahre den wachsenden Anforderungen entspre- 
chend möglichst problemlos ausgebaut werden zu können. 

Aus den in Abschnitt 2.5 dargestellten Aufgaben und Entwicklungszielen lassen sich Anfor- 
derungen an den neuen Compute Server ableiten, welche im Folgenden näher erläutert wer- 
den sollen: 

• Architektur, internes Netzwerk 

• CPU-Leistung 

• Hauptspeicher 

• Massenspeicherbedarf 

• Kommunikationsumgebung, externes Netzwerk 

• Betriebssystem 

Bei der Abschätzung des Bedarfes werden Erfahrungen aus dem langjährigen Betrieb von 
Compute Servern in der BAW sowie aus der Entwicklung der Fachaufgaben zu Grunde ge- 
legt. 


2.6.1 Architektur, internes Netzwerk 

Die zurzeit verwendeten mathematischen Verfahren sind MPI-parallelisiert und angepasst für 
eine Verwendung auf einem Compute Server mit distributed memory. Bei einigen Verfahren 
gibt es effiziente Anpassungen für Systeme (oder Systemknoten) mit shared memory (exis- 
tierende OpenMP-Parallelisierung) und durch die teilweise noch vorhandene Vektorisierung 
auch das Potential zur Nutzung von GPUs oder anderen Beschleunigern. Es gab bereits 
Versuche im Hause, hybride Parallelisierung (MPI/OpenMP) zu nutzen. Aus Applikations- 
sicht bestehen keine generellen systembedingten Vorbehalte hinsichtlich der Verwendung 
von Compute Servern mit distributed memory. Es ist nicht auszuschließen, dass im Rahmen 
der zuvor beschriebenen Entwicklungsarbeiten zukünftig auch Systemarchitekturen, die hyb- 
ride Parallelität und/oder Hardware-Beschleunigung erlauben, zum Einsatz kommen können. 
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Ein spontaner Ausfall einzelner Knoten bzw. Prozessoreinheiten soll vom System so abge- 
fangen werden, dass eine automatische Rekonfiguration erfolgt, welche im Idealfall den un- 
terbrechungslosen Weiterbetrieb der Maschine ermöglicht. 

Die Systemsoftware muss die möglichst effiziente Platzierung mehrerer paralleler Rechen- 
jobs auf der gegebenen Topologie des internen Rechnernetzwerks unterstützen, ohne we- 
sentliche Einbußen in der Performance zu bewirken. 


2.6.2 CPU-Leistung 

Das zu ersetzende System liefert eine Leistung von ca. 150 GFLOPS Applikationsleistung. 

Um den Aufgaben und Anforderungen für die nächsten 5 Jahre gerecht werden zu können, 
ist die mindestens zwanzigfache Steigerung der Applikationsleistung erforderlich. Diese Leis- 
tung von mehr als 3 TFLOPS (bezogen auf Altix 3700Bx2) soll von dem neuen Compute 
Server erbracht werden können. Nach den Erfahrungen der BAW kann die erwartete Leis- 
tung von Compute Servern mit etwa 3000 Prozessorkernen aktueller Bauart erbracht wer- 
den. Die genaue Darstellung der Leistungsanforderung hinsichtlich der gesamten CPU- 
Leistung ergibt sich aus den geforderten Ausführungszeiten für die zu testende Software 
(siehe Abschnitt Benchmarks). 


2.6.3 Hauptspeicherbedarf 

Der Hauptspeicher muss so dimensioniert sein, dass das System den hohen, und weiter 
steigenden Anforderungen - z.B. vermehrt 3D-Simulationen, neue physikalische Prozesse, 
hauptspeicherintensive Datenanalysemethoden, etc. - gerecht werden kann. Es sind deshalb 
pro Prozessor mindestens 1 GB mit der Möglichkeit zum Ausbau bis auf 4 GB vorzusehen. 
Im Falle von geclusterten Systemen ist für mindestens einen Knoten des Systems („Fron- 
tend“) mindestens 64 GB vorzusehen. 


2.6.4 Erforderliche Massenspeicherkapazität 

Die zurzeit verwendeten Datensätze reichen von Werten < 100 MB bis hin zu einigen TB. Die 
zu verzeichnende Variationsbandbreite macht deutlich, dass neben der Größe des Massen- 
speichers die Zugriffsgeschwindigkeit auf die Dateien von besonderer Bedeutung ist. Die Zeit 
für das Einlesen von Datensätzen hängt also wesentlich von deren Größe ab sowie davon. 
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ob die Daten von lokalen Platten oder von einem File Server über NFS, SMB etc. gelesen 
werden. 

Nach dem in der BAW eingerichteten Speicherkonzept (siehe Abschnitt 2.2) werden alle für 
die Bearbeitung der Fachaufgaben erforderlichen Daten in einem zentralen Speichersystem 
vorgehalten. Alle größeren Server (File-, Compute-, Grafik-) haben unter Verwendung von 
NFS einen direkten Zugriff auf die dort abgelegten Daten. Wegen der erheblichen Größe der 
erzeugten Rechenergebnisse, müssen auf dem Compute Server eigene Speicherkapazitäten 
zur Verfügung stehen, auf denen die Projektbearbeiter temporär ihre Arbeiten durchführen. 

Der Bedarf an Massenspeicherkapazität wird deshalb weitgehend von folgenden Faktoren 
bestimmt: 

• von der verwendeten Software abgelegte Daten in großen Mengen. Diese Daten 
sind nach erfolgter Auswertung für die spätere Weiterverarbeitung der zu berech- 
nenden Datensätze i.d.R. nicht von Bedeutung und sollen deshalb nicht auf dem 
zentralen File Server gespeichert werden. 

• Zwischenspeicherung von Berechnungsdaten um im Bedarfsfall auch autonom, z.B. 
bei Ausfall oder Wartung des zentralen File Servers arbeiten zu können. 

Dieses globale Dateisystem soll eine Größe von mindestens 50 TB Gesamtkapazität haben 
und muss für den gesamten Rechner (soweit zutreffend: alle Rechnerknoten) zur Verfügung 
stehen. Dieses Dateisystem soll exportiert werden, so dass es von anderen Rechnern (u.a. 
den Arbeitsplatz-PCs der Nutzer mit Linux bzw. Windows Betriebssystemen) mittels NFS 
und SMB eingebunden werden kann. 

Da zudem auch noch eine Vielzahl paralleler Prozesse ggf. gleichzeitig lesend und/oder 
schreibend auf das Dateisystem zugreift, muss auch bei konkurrierendem Zugriff ein ausrei- 
chender Durchsatz erzielt werden. 


2.6.5 Kommunikationsumgebung 

Mit der im vorigen Abschnitt beschriebenen Konfiguration ist ein Betrieb des Gesamtsystems 
ohne spezielle Dienstposten für das Operating möglich. Dieses Konzept hat sich bisher im 
Wirkbetrieb als tragfähig und effizient erwiesen. 

Die von der Abteilung Wasserbau im Binnenbereich eingesetzten numerischen Modellverfah- 
ren erfordern ein hohes Maß an individueller Bearbeitung. Die Mitarbeiter müssen im Rah- 
men der zuvor geschilderten Arbeitsweise häufig auf die Ergebnisse der Modellberechnun- 
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gen zugreifen um daraus resultierend Anpassungen für weitere Rechenläufe vorzunehmen. 
Diese interaktive Bearbeitungsweise bedingt einen schnellen und unmittelbaren Zugriff auf 
die Ergebnisdaten. Zur sicheren Gewährleistung dieser Zugriffsmöglichkeiten muss die Er- 
satzlösung daher leistungsfähig und mit hoher Verfügbarkeit in das Netzwerk der BAW in 
Karlsruhe eingebunden werden. 

Aus den in Abschnitt 2.6.4 dargestellten Dateigrößen ergibt sich, dass die Ersatzlösung bei 
einer Nutzung durch 20 und mehr Mitarbeiter der Abteilung Wasserbau im Binnenbereich im 
täglichen Betrieb Datenmengen in der Größe mehrerer 100 Gigabytes in das Netzwerk der 
BAW in Karlsruhe bewegen muss. Um eine für die Mitarbeiter akzeptable Arbeitsweise ge- 
währleisten zu können, muss die Anbindung der Ersatzlösung, allein für den Nutzerzugriff, 
mindestens 10 Gbit/s betragen. Im Nebenraum des für die Unterbringung der Ersatzlösung 
vorgesehenen Technikraums stehen insgesamt 4 Netzwerkanschlüsse (optisch, 10G X2-SR) 
für die Anbindung der Ersatzlösung zur Verfügung. 


2.6.6 Systemnahe Software 

Der neue Compute Server muss über ein multiuser und multitasking fähiges Betriebssystem 
verfügen. Die BAW hat dabei gute Erfahrungen mit UNIX/Linux basierten Systemen ge- 
macht. Es wird großer Wert auf die Verfügbarkeit System übergreifend einsetzbarer Soft- 
warewerkzeuge für Administration, Monitoring, Visualisierung, Software-Entwicklung und 
Parametrisierung des Batchsystems gelegt. 

Zur Nutzung als Rechenserver ist ein Batch- und Schedulersystem erforderlich welches dem 
dargelegten zukünftigen Nutzungskonzept entspricht. Um eine effektive Nutzung des Com- 
pute Servers zu erreichen, ist ein kombiniertes Batch- und Load Balancing System zu instal- 
lieren, dass die im „Ist-Zustand“ beschriebene Arbeitsweise weiterhin ermöglicht. Von die- 
sem Softwaresystem wird insbesondere erwartet, dass Warteschlangen unterschiedlicher 
Priorität zur Verfügung stehen und dass hochprioritäre Rechenjobs andere vollständig ver- 
drängen können. Die Platzierung der Rechenjobs auf dem Compute Server soll angepasst 
an die Systemarchitektur erfolgen. Derzeit wird PBS-Pro auf den Compute Servern der BAW 
eingesetzt. 

Die eingesetzten mathematischen Modellverfahren sind mit Gebietszerlegungsmethoden 
und unter Verwendung von MPI parallelisiert worden. Bei den eingesetzten Programmier- 
sprachen handelt es sich um C, C++, Fortran. Es muss eine vollständige Entwicklungsum- 
gebung (Konfigurieren, Kompilieren, Fehlersuche, Laufzeitanalyse) für diese Sprachen vor- 
handen sein, um diese Verfahren weiter optimieren und entwickeln zu können. Derzeit wird 
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eine GNU kompatible Umgebung eingesetzt für die die Entwickler und Administratoren um- 
fassend ausgebildet sind. 

Eines der auf dem System einzusetzenden numerischen Verfahren (OpenFOAM) benutzt in 
großem Umfang die typischerweise auf Linux-Systemen vorhandenen Programme zum Kon- 
figurieren und Kompilieren der Software. Das angebotene System muss in der Lage sein 
OpenFoam nach Entwicklervorgabe (siehe Kapitel Benchmarks) in der jeweils aktuellen Ver- 
sion aus dem Versionsverwaltungsystem von OpenCFD für OpenFoam auszuchecken (s. 
http://www.opencfd.co.uk/openfoam/download.html), zu konfigurieren und zur Nutzung im 
parallelen Betrieb zu kompilieren. Falls für diesen entwicklerseitig nahezu vollständig auto- 
matisierten Vorgang wiederkehrende benutzerseitige Anpassungen erforderlich sind, sind 
diese wegen der schnellen Weiterentwicklung des Verfahrens kostenfrei alle drei Monate auf 
Anforderung der BAW durch den Anbieter durchzuführen. 

Wegen der Nutzung von Anwendersoftware, die auf aktuelle Versionen der systemnahen 
Software angewiesen ist, muss gewährleistet sein, dass diese während der Betriebszeit der 
Ersatzlösung auf dem aktuellen Stand bleibt. Daher soll die im Angebot enthaltene system- 
nahe Software (Betriebssystem und mitgelieferte Applikationssoftware, wie z.B. MPI- 
Implementation) regelmäßige Updates erhalten, welche vom Auftragnehmer zu installieren 
sind. Nach einer Betriebsdauer der Ersatzlösung von 2 bis 3 Jahren soll die systemnahe 
Software mittels eines Upgrade auf den aktuellsten verfügbaren Softwarestand gebracht 
werden, soweit dieses nicht schon durch das Einspielen der Updates gesichert ist. 

Rechtzeitig vorder Aufnahme des Produktionsbetriebes ist eine Schulung zur Administration 
des neuen Compute Servers für 3 Personen durchzuführen. Weiterhin ist eine „hands-on“ 
Nachschulung dieser Personen durchzuführen. Zur Aufnahme des Produktionsbetriebes ist 
eine geeignete Unterweisung für bis zu 30 Anwender vorzusehen. Aus diesem Personen- 
kreis sind bis zu 10 Personen in der Anwendung der mitgelieferten Entwicklungswerkzeuge 
zu unterweisen. 


2.6.7 Zusammenfassung Leistungsbedarf der Ersatzlösung 

Die Ersatzlösung muss folgende Leistungsmerkmale besitzen: 

• mind. 3,0 TFLOPS Rechenleistung (Applikationsleistung, definiert durch die Ausfüh- 
rungszeit eines Benchmarks auf derAltix3700Bx2) 

• mindestens 1 GB Hauptspeicher pro Prozessorkern (soweit zutreffend: mindestens 
64 GB auf einem einzelnen Rechenknoten „Frontend“). 
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• mindestens 50 TB Plattenplatz für temporäre Dateien der Benutzer im globalen Spei- 
chersystem. 

• Anbindung an das Netzwerk der BAW mit mindestens 10 Gbit/s 

2.7 Verfügbarkeit der Ersatzlösung - Support 

Die Verfügbarkeit der Ersatzlösung muss durch den Hersteller des Systems oder einen von 
ihm autorisierten Service-Partner gemäß EVB-IT Instandhaltung und Pflege gewährleistet 
werden. 

Die nachfolgend beschriebenen Regelungen werden im Rahmen der Vertragserstellung als 
ergänzende Bestimmungen einbezogen. 

2.7.1 Systemzustände 

Zur Definition der bei dem Betrieb der Ersatzlösung im Fehlerfall möglicherweise auftreten- 
den Systemzustände werden exemplarisch folgende Fehlerbeschreibungen aufgeführt. Der 
Systemzustand gilt als erreicht, wenn mindestens eines der jeweils genannten Merkmale 
muss erfüllt ist. Die Liste ist weder vollständig noch bedeutet die Angabe einzelner System- 
komponenten, dass diese unbedingt Teil der Ersatzlösung sein müssen. 

System down: 

• Alle Management Knoten nicht verfügbar, 

• Das globale Speichersystem zur Ablage der Benutzerdaten kann weder vom Netz- 
werk der BAW noch von den Rechnerknoten erreicht werden 

• Es sind weniger als 25% der Rechnerknoten verfügbar, 

• Die Ablaufzeit des im Abschnitt 4.3.3 definierten Durchsatzbenchmarks beträgt mehr 
als 400% des im Angebot zugesicherten Wertes, 

• Keiner der vorhandenen Netzwerkzugänge ist verfügbar, 

• Das Queing System ist nicht einsatzbereit. 

System eingeschränkt nutzbar: 

• Weniger als 75% der Rechnerknoten, aber mehr als 25% der Rechnerknoten verfüg- 
bar, 

• Die Ablaufzeit des im Abschnitt 4.3.3 definierten Durchsatzbenchmarks beträgt mehr 
als 200% des im Angebot zugesicherten Wertes, 

• Es ist kein Netzwerkzugang über eine 10 Gbit/s-Leitung möglich. 

• Ausfall eines lokalen Filesystems (in einem Compute Knoten), nicht durch Austausch 
der lokalen Festplatte behebbar. 
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• Das globale Speichersystem zur Ablage der Benutzerdaten kann vom Netzwerk der 
BAW nicht erreicht werden, 

• Das Queing System ist eingeschränkt nutzbar. 

Ausfälle unwesentlicher Komponenten: 

• Die Ablaufzeit des im Abschnitt 4.3.3 definierten Durchsatzbenchmarks beträgt mehr 
als 100% des im Angebot zugesicherten Wertes, 

• Ausfall einer Systemplatte (in einem Compute Knoten), geklonte Systemplatte ist je- 
doch benutzbar 

• Ausfall eines (von zwei oder mehreren) Managementknoten, 

• Ausfall eines Rechenknotens 

2.7.2 Reaktionszeiten 

Der Rückruf eines Technikers bei dem zuständigen Administrator der BAW erfolgt nach fol- 
genden Prioritäten: 

Priorität Svstemzustand 

1 System down 

2 System eingeschränkt nutzbar 

3 Ausfälle unwesentlicher Komponenten 

4 sonstige Ereignisse 

Die Priorität wird von der BAW bei der Störungsmeldung 
rufs des Technikers verbindlich festgelegt. 

2.7.3 Behebung von Störungen 

Hardwarestörungen 

Der Auftragnehmer stellt sicher, dass ein Techniker bei der Behebung von Hardwarestörun- 
gen innerhalb folgender Fristen nach der Meldung durch die BAW, soweit erforderlich mit 
den benötigten Ersatzteilen, bei der BAW tätig wird: 

• bei den Prioritäten 1 und 2 spätestens am nächsten Arbeitstag 

• bei der Priorität 3 spätestens nach 2 Arbeitstagen 

• bei der Priorität 4 nach Vereinbarung, spätestens nach 3 Arbeitstagen 

Softwarestörungen 

Der Auftragnehmer stellt sicher, dass ein Techniker bei der Behebung von Softwarestörun- 
gen innerhalb folgender Fristen nach der Meldung durch die BAW z.B. per Remote-Zugriff 
bei der BAW tätig wird: 

• bei der Priorität 1 nach acht Stunden 


Rückruf innerhalb 
60 Minuten 
120 Minuten 
240 Minuten 
eines Arbeitstages 

angegeben und während des Rück- 
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• bei der Priorität 2 spätestens am nächsten Arbeitstag 

• bei der Priorität 3 spätestens nach 2 Arbeitstagen 

• bei der Priorität 4 nach Vereinbarung, spätestens nach 3 Arbeitstagen 

Arbeitstage (Servicezeiten) 

Werktage außer Samstag, jeweils in der Zeit von 08:00h - 17:00h. 

Remote-Zugang 

Die Techniker des Auftragnehmers sollen für die Störungsbehebung und Softwarepflege der 
Ersatzlösung einen von der BAW bereitgestellten Remote-Zugang benutzen, soweit sie für 
diese Arbeiten nicht persönlich zum Standort der Ersatzlösung kommen müssen. Für den 
Zugriff der Techniker wird ein eigener User Account mit vollständigen Administrationsrechten 
eingerichtet. 

Systemdiagnose im Störungsfall 

Der Auftragnehmer muss die für die Behebung der Störungen erforderlichen Systeminforma- 
tionen und -meldungen eigenständig sammeln, z.B. per Remote-Zugriff. Die Behebung der 
Störung ist durch geeignete, vom Auftragnehmer durchzuführende Tests zu belegen. 

Die Mitwirkung der Administratoren der BAW soll sich darauf beschränken: 

• die Störung zu melden, 

• weitere, im Zusammenhang mit der Störung wichtige, Ansprechpartner in der BAW zu 
nennen, 

• eventuell per Hand am System durchzuführende, einfache Arbeiten auszuführen (z.B. 
Betätigung des Ein-/Ausschalters) 

• Kommunikation über den Fortgang der Störungsbehebung mit dem Auftragnehmer 

• die Behebung des Schadens zu bestätigen 

2.7.4 Leistungsstörungen bei der Behebung von Störungen 

Die Höhe des pauschalierten Schadenersatzes wird bei Störungen der Priorität 1, abwei- 
chend von den Bedingungen in EVB-IT Instandhaltung und Pflege, wie folgt geregelt. Der 
pauschalierte Schadenersatz beträgt: 

• während des vierten bis sechsten Störungstages 1/3 der im Vertrag genannten monatli- 
chen pauschalen Vergütung je Störungstag. 

• während des siebten bis zehnten Störungstages 7/30 der im Vertrag genannten monatli- 
chen pauschalen Vergütung je Störungstag. 

• ab dem elften Störungstag 5/30 der im Vertrag genannten monatlichen pauschalen Ver- 
gütung je Störungstag. 
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Definition des Begriffes Störungstag (Zitat aus EVB-IT Instandhaltung und Pflege): 

Jeder auf den Ablauf der im vorhergehenden Abschnitt genannten Frist zum Beginn der Be- 
hebung von Störungen folgende Kalendertag innerhalb der vereinbarten Servicezeiten, an 
dem die Hard- und Software nicht bestimmungsgemäß genutzt werden kann. 
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3 Leistungsverzeichnis 

Im Leistungsverzeichnis sind alle Aspekte dargestellt, die für die Ersatzlösung relevant sind. 
Das Leistungsverzeichnis gliedert sich in folgende Kriterienhauptgruppen: 

A) Anbieterdarstellung / Wartung / Instandsetzung 

B) Projektabwicklung zur Bereitstellung der Ersatzlösung für das derzeitige Rech- 
nersystem 

C) Allgemeine Anforderungen an die Ersatzlösung 

D) Anforderungen an das Operating und den Support 

E) Spezielle Anforderungen an die Ersatzlösung - Hardwareaspekte 

F) Spezielle Anforderungen an die Ersatzlösung - Softwareaspekte 

G) Messung der realen Leistung (Benchmarkergebnisse) 

H) Anforderungen an die Preisgestaltung 

Alle Fragen des Leistungsverzeichnisses sind in den nachfolgenden Tabellen angegeben. 
Mit Anforderung der Ausschreibungsunterlagen wird der Fragekatalog auch in digitaler Form 
übergeben (Anlage 3, Bewertungsmatrix). Die dort gelisteten Tabellen enthalten neben den 
Gewichtsfunktionen aller Parameter auch den Maximalwert der Bewertungszahl (Bewer- 
tung=10). Zur Kontrolle können Sie feststellen, dass sich unter Anwendung der Gewichts- 
funktion und Summenbildung über alle Punkte die Maximalpunktzahl 10.000 ergibt. 


3.1 A - Anbieterdarstellung 


I Kontaktstellen für Angebot, Auftrag, Vergabe, Wartung 

1 Geben sie bitte alle Kontaktstellen nach den Parametern: Funktion, Ort, di- 
rekt/indirekt für alle von Ihnen angebotenen Leistungen an. 


II Projekt- und Produktverantwortung 

1 Der Bieter muss für die gesamte Dauer der Projektrealisierung und Gewährleistung Ausschluss- 
alle Leistungen in seinem Namen anbieten und durchführen (ein Vertragspartner) kriterium 


III Leistungsfähigkeit des Bieters 

1 Wie vieie Installationen von Compute Server (mit min. 3000 CPU Kernen) haben 
Sie weitweit / in Europa durchgeführt? 
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2 Wie viele Installationen von Compute Server (mit min. 3000 CPU Kernen) haben 
Sie in Deutschland durchgeführt? 

3 Eigenerklärung zum Umsatz 

In den letzten drei vollen Geschäftsjahren wurden folgende Umsätze insgesamt und 
im ausschreibungsrelevanten Bereich erzielt (getrennt nach weltweit / Deutsch- 
land): 

-2007: 

-2008: 

- 2009 (ggf. vorläufig): 

4 Eigenerklärung zur Personalentwicklung 

In den letzten drei vollen Geschäftsjahren war folgende Anzahl Vollzeitkräfte insge- 
samt, sowie Vollzeitkräfte im ausschreibungsrelevanten Bereich beim Bieter be- 
schäftigt (getrennt nach weltweit / Deutschland): 

-2007: 

-2008: 

- 2009 (ggf. vorläufig) 

5 CS-Referenz 1 
Kunde: 

Auftragssumme: 

Installiertes System (It. Herstellerbezeichnung): 

Systemparameter (Anzahl Racks, CPU, Cores; Kapazität RAM, Plattensystem, 
Netzwerkanbindung, Klimatisierung): 

Ansprechpartner: 

E-Mail-Adresse: 

Telefonnummer: 

6 CS-Referenz 2 
Kunde: 

Auftragssumme: 

Installiertes System (It. Herstellerbezeichnung): 

Systemparameter (Anzahl Racks, CPU, Cores; Kapazität RAM, Plattensystem, 
Netzwerkanbindung, Klimatisierung): 

Ansprechpartner: 

E-Mail-Adresse: 

Telefonnummer: 

7 CS-Referenz 3 
Kunde: 

Auftragssumme: 

Installiertes System (It. Herstellerbezeichnung): 

Systemparameter (Anzahl Racks, CPU, Cores; Kapazität RAM, Plattensystem, 
Netzwerkanbindung, Klimatisierung): 

Ansprechpartner: 

E-Mail-Adresse: 

Telefonnummer: 
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3.2 B - Projektabwicklung Bereitstellung Ersatzlösung 

I Zuschlagserteilung 

1 Vor Zuschlagserteilung müssen die ieistungsstärksten Bieter ihr Angebot auf Anfor- Ausschluss- 
derung darstellen. Dabei sollen das Angebot und vor allem die Benchmarkergeb- kriterium 
nisse erläutert werden. Folgende Termine sind für die Präsentation vorgesehen: 22. 
bis 24. Februar 2010 


II Projektmanagement 

1 Stellen Sie den Projektplan dar, der nach Auftragserteilung bis zur Verfügbarma- 
chung der Ersatzlösung für den Produktionsbetrieb der BAW im Rahmen ihres 
Angebotes eingehalten wird. Benennen Sie die Verantwortlichen und Ansprech- 
partner. 

2 Erstellen Sie in der Anlage des Projektplans einen Terminplan für alle notwendigen 
Aktivitäten wie z.B. Anlieferung, Aufstellung, Integration in die Netzwerke, Erklärung 
Betriebsbereitschaft, Schulung, Portierungsberatung usw. 

Folgende Termine sollen eingehalten werden: 

Erklärung der Betriebsbereitschaft spätestens am 30.06.2010 
Abnahme der Leistungen bis zum 30.07.2010 

3 Wenn die angebotene Ersatzlösung eine längere Lieferzeit hat, als bis zum vorge- Ausschluss- 
sehenen Liefertermin (16.06.2010), muss der Bieter ab dem 30.06.2010 die In- kriterium 
Standhaltungskosten des vorhandenen Systems tragen. 

III Einführung, Schulung, Kundenbetreuung 

1 Wie wollen Sie die Mitarbeiter der BAW in die Nutzung der Ersatzlösung einfüh- 
ren? 

2 Für die mit der Softwareentwicklung befassten Nutzer muss auf der Ersatzlö- Ausschluss- 
sung eine Schulung dazu durchgeführt werden, wie die besonderen Systemei- kriterium 
genschaften der Ersatzlösung bei der Softwareentwicklung berücksichtigt wer- 
den können. Bitte erläutern Sie den Schulungsumfang. 

3 Welche Schulungen sind neben der in Kriterium B.III.2 genannten Schulung 
noch im Angebot enthalten? 

4 

Führen Sie die Schulungen beim Kunden durch? Erwarteter Wert: Ja 

IV Anlieferung, Aufstellung und Betriebsbereitschaft 

1 Ihr Angebot muss den Transport aller Teile der Ersatzlösung bis zum endgültigen 
Aufstellungsort und den Anschluss der Geräte - einschließlich Anbindung an die 
Netzwerke - enthalten. In welchem Umfang erwarten Sie personelle Unterstützung 
durch die Mitarbeiter der BAW? 
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2 Zur Erklärung der Betriebsbereitschaft gehört der Nachweis der Benchmarkergeb- 
nisse, die Sie in ihrem Angebot angegeben haben. Können Sie das leisten? 

3 Nach welchen zusätzlichen Kriterien erklären Sie die Betriebsbereitschaft? 

4 Welche Unterstützungsleistungen durch die BAW-Mitarbeiter haben Sie während 
der Funktionsprüfungen vorgesehen? 

5 Die Gesamtleistung kann nur abgenommen werden, wenn alle Benchmarkergeb- Ausschluss- 
nisse auf der gelieferten Anlage durch Mitarbeiter der BAW durchgeführt und verifi- kriterium 
ziert werden können. Hierbei muss der Bieter die Mitarbeiter der BAW durch detail- 
lierte Beratung unterstützen. 


3.3 C - Allgemeine Anforderungen 

I Allgemeine Anforderungen an die Hardwareumgebung 

1 Die Ersatzlösung muss die jeweiligen baulichen und klimatechnischen Randbedin- Ausschluss- 
gungen einhalten. Es gelten die in der Leistungsbeschreibung, Abschnitt 2.3 ge- kriterium 
nannten Bedingungen. 

2 Beschreiben Sie die klimatechnischen Anforderungen der Ersatzlösung. 

3 Beschreiben Sie die baulichen, elektrotechnischen, zugangstechnischen Anforde- 
rungen sowie die Geräuschemission der Ersatzlösung. 

4 Beschreiben Sie den gesamten Energiebedarf - für Betrieb und Klimatisierung - der Ausschluss- 
Ersatzlösung. Machen Sie dabei Angaben zu elektr. Anschlusswert und Wärmeab- kriterium 
gäbe des Systems. Diese Angaben sind für die Bildung der Preisleistungsrelation 

zur Bewertung des Angebotes erforderlich (siehe Ausschreibungsunterlage Kapitel 
2). Die BAW hat derzeit folgende Kosten (exkl. MWSt.) für elektrische Energie: 

Bereitstellung 6,50 Euro/KW,Monat; Verbrauch: 0,085 Euro/KWh. Für die Betriebs- 
zeit wird die zu berücksichtigende Erhöhung der verbrauchsabhängigen Kosten auf 
etwa 0,3 Ct im Jahr geschätzt. Daraus ergeben sich folgende Werte für die Berech- 
nung der Preisleistungsrelation: 1. Jahr 0,088; 2. Jahr 0,091; 3. Jahr 0,094; 4. Jahr 
0,097; 5. Jahr 0,100 €/KWh, 

5 Welche Merkmale weist das von Ihnen angebotene System auf, um den Gesamt- 
bedarf an Energie so niedrig wie möglich zu halten? 

6 Beschreiben Sie die Anforderungen an die Kommunikationsumgebung - Einbin- 
dung/Anbindung der Ersatzlösung an die vorhandenen Netzwerke 


II Allgemeine Anforderungen an die Hardware 

1 Ist die Rechenleistung der Ersatzlösung skalierbar? Wenn ja, in welcher Weise? 
(Es wird ein Skalierungsfaktor bis maximal 2 gefordert) 

2 Kann eine spätere Leistungssteigerung durch Austausch von Hardwarekomponen- 
ten erreicht werden? 

3 Wie entwickelt sich mittelfristig die Produktlinie innerhalb derer die Ersatzlösung 
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angeboten wird? 

4 Wie iange ist die Ersatzlösung aufwärtskompatibel? 

III Verfügbarkeit 

1 Welche Verfügbarkeit können Sie für das angebotene System im 24-Stunden- 
Betrieb garantieren (98,5% = Mindestwert im Jahresdurchschnitt) 

2 Welche mittlere ausfallfreie Zeit können Sie im Jahresdurchschnitt garantieren? 

3 Was sagt die Statistik Ihres technischen Dienstes? Anzahl der Ausfälle pro Jahr, 
durchschnittliche Instandsetzungsdauer? 

4 Bitte beschreiben Sie, wie die Verfügbarkeit der Ersatzlösung im täglichen Betrieb 
gemessen werden kann. Ist die beschriebene Lösung im Angebot enthalten? 

IV IT-SIcherhelt 

1 Welche Möglichkeiten bestehen für die Identifikation und Authentisierung, Rechte- 
verwaltung, Rechteprüfung? 

2 Wie werden Datenverluste bei Systemausfall vermieden? 

3 Zu welchen Folgen können Stromunterbrechungen, Stromschwankungen führen? 


3.4 D - Anforderungen an das Operating und den Support 

I Methoden der Systemsteuerung 

1 Beschreiben Sie die Möglichkeiten zur Aufteilung der Systemressourcen: Partitio- 
nierung des Systems, insbesondere bei teilweisem Ausfall des Gesamtsystems (ein 
oder wenige Rechenknoten, soweit zutreffend) 

2 Die Ersatzlösung muss über ein System zur Lastverteilung und -Steuerung Ausschluss- 

(preemptingfähiges Batchsystem) verfügen. krlterlum 

3 Beschreiben Sie aus Nutzersicht die Vorteile des angebotenen Batchsystems hin- 
sichtlich: Programmausführung interaktiv und im Batch, Kontrolle Jobstatus, Jobpri- 
orisierung vor und während der Ausführung eines Jobs (Preempting), Checkpoin- 
ting, usw. 

4 Beschreiben Sie die Möglichkeiten zur Real-Time-Überwachung der Maschinenaus- 
lastung und -Überwachung (Monitoring) sowie zum Accounting. 

5 Enthält Ihr Angebot die Einrichtung eines automatisierten Reportings der System- 
auslastung? Folgende Auslastungswerte sollen berichtet werden: Woche, Monat 
und Jahr jeweils für das gesamte System (Ersatzlösung) wie auch benutzerbezo- 
gen. 

Erwarteter Wert: ja. 


II Bedlenerloser Betrieb 
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1 Die BAW strebt einen bedienerlosen (hinsichtlich Administration durch die BAW) 
Produktionsbetrieb an. Wie kann Ihre Ersatzlösung diese Anforderung unterstüt- 
zen? 

2 Welcher Zeitaufwand ist pro Woche für die Systembetreuung durch Administratoren 
der BAW anzusetzen? (Erwarteter Wert = kein Aufwand) 

3 Mittels welcher Systemkomponenten erfolgt die Administration der Ersatzlösung? 

Gibt es hierfür ein Web-GUl? 

4 Wer ist zuständig für Inbetriebnahme/Außerbetriebnahme der Ersatzlösung? 

5 Die Mitwirkung der Administratoren der BAW bei der Behebung von Störungen soll 
sich auf die in der Leistungsbeschreibung, Abschnitt 2.7.2 beschriebenen Aufgaben 
beschränken. Ist das mit den im Angebot enthaltenen Leistungen zur Instandhal- 
tung und Software pflege der Ersatzlösung gewährleistet? Erwarteter Wert: Ja. 

6 Die Systemdiagnose im Störungsfall muss vom Auftragnehmer eigenständig durch- Ausschluss- 
geführt werden, mit Ausnahme der unbedingt von der BAW zu erbringenden Mitwir- kriterium 
kungsleistungen. Dabei kann der Auftragnehmer z.B. den Remote-Zugriff verwen- 
den. 


III Softwarepflege 

1 Die Einhaltung der in der Leistungsbeschreibung, Abschnitt 2.7.2 genannten Reak- Ausschluss- 
tionszeiten sowie der in Abschnitt 2.7.3 genannten Fristen für den Beginn der Be- kriterium 
hebung der Softwarestörungen müssen mit den im Angebot enthaltenen Leistungen 

zur Softwarepflege der Ersatzlösung gewährleistet sein. 

2 Beschreiben Sie wie die laufende Aktualisierung der in Ihrem Angebot enthaltenen 
und auf dem System installierten systemnahen Software (s. Leistungsbeschrei- 
bung, Abschnitt 2.6.6) sichergestellt wird. 

3 Sind Sie bereit, die systemnahe Software (s. Leistungsbeschreibung, Abschnitt 
2.6.6) nach einer Betriebsdauer der Ersatzlösung von 2 bis 3 Jahren mittels eines 
Upgrade auf den aktuellsten verfügbaren Softwarestand zu bringen, soweit dieses 
nicht schon durch das Einspielen der Updates (s. Kriterium D.III.2) gesichert ist? 

Erwarteter Wert: Ja 

4 Welche Eigenschaften der Ersatzlösung tragen zur Verminderung des Aufwands für 
die Wiederherstellung der systemnahen Software (s. Leistungsbeschreibung, Ab- 
schnitt 2.6.6) bei? 

IV Instandhaltung 

1 Erläutern Sie Ihr Instandhaltungskonzept (Ansprechstelle, zuständiger Stützpunkt 
für die Arbeiten). Welche Stellen nehmen zu welcher Zeit Störungsmeldungen an? 

Welche Stelle ist für den Standort der Ersatzlösung zuständig? 

2 Die Einhaltung der in der Leistungsbeschreibung, Abschnitt 2.7.2 genannten Reak- Ausschluss- 
tionszeiten sowie der in Abschnitt 2.7.3 genannten Fristen für den Beginn der Be- kriterium 
hebung der Hardwarestörungen müssen mit den im Angebot enthaltenen Leistun- 
gen zur Instandhaltung der Ersatzlösung gewährleistet sein. 
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3.5 E - Spezielle Anforderungen an die Ersatzlösung - Hardware 

I Leistungssteigerung gegenüber dem ist-Zustand 

1 Die für diese Ausschreibung durchzuführenden Leistungsmessungen sollen sich an 
der real für die BAW erzielbaren Leistung orientieren (Benchmarks). Beschreiben 
Sie Ihr Vorgehen bei den Leistungsmessungen für dieses Angebot 

2 Mit den Leistungsmessungen muss die Ausführungszeit für einen bestimmten An- Ausschluss- 
wendungsmix von 2327 Sekunden unterschritten werden. Kann mit Ihrem System kriterium 
diese Leistung erzielt werden? 

3 Welches sind die entscheidenden Merkmale der angebotenen Rechnerarchitektur, 
welche die geforderte Mindestleistung garantieren? 


II Übertragungslelstungen 

1 Wie hoch sind die maximale und die durchschnittliche Kommunikationsbandbreite 
zwischen der Ersatzlösung und dem Netzwerk der BAW? 

2 Das globale Speichersystem muss per NFS und SMB in das LAN der BAW expor- Ausschluss- 

tiert werden, s. Leistungsbeschreibung, Abschnitt 2.6.4. kriterium 

III Speicherausbau 

1 Hauptspeicherausbau: Angeboten werden sollen mindestens 1 GB Hauptspeicher 
pro Prozessorkern (soweit zutreffend: mindestens 64 GB auf einem einzelnen Re- 
chenknoten Frontend). Wie viel halten Sie für richtig, wie viel bieten Sie an? Welche 
Erweiterungsmöglichkeiten bestehen? 

2 Massenspeicherausbau für das globale Speichersystem zur Ablage der Benutzer- 
daten: Mindestwert 50 TB. Wieviel bieten Sie an? Bitte begründen Sie die Dimen- 
sionierung des von Ihnen angebotenen Ausbaus. Welche Erweiterungsmöglichkei- 
ten bestehen? 


IV Hardware-Beschleunigung 

1 Halten Sie den Einsatz von Hardware-Beschleunigern (z.B. GPU) für geeignet, um 
den Ablauf der von der BAW für die Benchmarks zu verwendenden Modellverfah- 
ren noch weiter zu beschleunigen (s. Leistungsbeschreibung, Abschnitt 2.5.2)? 
Erwarteter Wert: Sie begründen Ihre Aussage mit Hilfe eines Konzepts. 

2 Unabhängig von einer positiven oder negativen Antwort bei dem Kriterium E.IV.1: 
Wie kann die angebotene Ersatzlösung zukünftig so erweitert werden, dass ein 
angemessener Teil des Systems mit Hardware-Beschleunigern ausgestattet wäre. 


3.6 F - Spezielle Anforderungen an die Ersatzlösung - Software 

I Ablauffähigkeit der BAW-Programme 
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1 Die von der BAW eingesetzten Modellverfahren Telemac, NaStSDGP und Open- Ausschluss- 

FOAM sollen auf dem Erweiterungssystem lauffähig sein (Funktionstest). kriterium 

2 Das Updatesystem für das Modellverfahren OpenFOAM (auschecken, konfigurie- Ausschluss- 
ren, kompilieren) kann auf der Ersatzlösung automatisiert ausgeführt werden. Falls kriterium 
das nicht möglich ist wird die regelmäßige manuelle Durchführung (regelmäßige 
Einspielung ablauffähiger Updates) durch den Anbieter garantiert. 

II System- und Anwendungssoftware 

1 Geben Sie bitte eine kurze Übersicht zu den in Ihrem Angebot enthaltenen Soft- 
warekomponenten einschl. der zugehörigen Dokumentation. 

2 Begründen Sie die Wahl und beschreiben Sie die Vorteile und Nachteile des Be- 
triebssystems der Ersatzlösung für die Arbeitsweise der BAW. 

3 Beschreiben Sie die Eigenschaften der Filesysteme (max. Anzahl der FSe, max. 

Anzahl der Dateien pro FS, max. Größe einer Datei) 

4 Welche Anwendungen zur Messung der Systemperformance und zum Monitoring 
sind im Angebot enthalten? 

5 Im Angebot muss für die in der Leistungsbeschreibung, Abschnitt 2.6.6 genannte Ausschluss- 
systemnahe Software eine ausreichende Zahl von Lizenzen enthalten sein, damit kriterium 
die BAW das in der Leistungsbeschreibung, Abschnitt 2.5ff beschriebene Nut- 
zungskonzept nach Inbetriebnahme der Ersatzlösung umsetzen kann. 

III Zahlen- und Zeichendarstellung 

1 Binärdaten sollen nach dem lEEE-Floating-Standard verarbeitet werden können. Ausschluss- 

kriterium 

2 Wie viele Bits verwendet Ihr System für doppelt genaue Gleitpunktzahlen? 

3 Beschreiben Sie welche Zeichensätze unterstützt werden. 


IV Softwaretechnische Integration der Arbeitsplatzcomputer (APC) 

1 Die Rechner (Linux- bzw. Windows-PC) an den Arbeitsplätzen der Mitarbeiter sol- 
len für die Programmentwicklung unterstützt werden. Welche Möglichkeiten bietet 
Ihre Lösung? 

2 Erläutern Sie die Möglichkeiten zur Benutzung der Ersatzlösung von den Arbeits- 
platzrechnern der Mitarbeiter aus (Linux- bzw. Windows-PC) im Rahmen des Pro- 
duktionsbetriebs (z.B. Export von Applikationsfenstern) 


V Werkzeuge zur Programmentwicklung 
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1 Welches sind die wesentlichen Eigenschaften der Compiler (einschl. Analyse- 
Werkzeuge, Tuning-Hilfen, Fehlersuche, ...)? 

2 Verfügbarkeit ANSI-C, C++, Fortran Compiler in der Version, welche für die Durch- Ausschluss- 
führung der Benchmarks benutzt wurde. kriterium 


3.7 G - Benchmarks 

I Telemac 

1 Telemac2D "Geesthacht" auf 128 CPU-Kernen ausführen 

2 Telemac2D "Geesthacht" auf 256 CPU-Kernen ausführen 

3 Telemac2D "Geesthacht" auf 512 CPU-Kernen ausführen 


II Telemac/Slsyphe 

1 Telemac2D/Sisyphe "Iffezheim" auf 32 CPU-Kernen ausführen 

2 Telemac2D/Sisyphe "Iffezheim" auf 64 CPU-Kernen ausführen 

3 Telemac2D/Sisyphe "Iffezheim" auf 128 CPU-Kernen ausführen 

III NaSt3D 

1 NaSt3DGP "nastl 01 mio " auf 256 CPU-Kernen ausführen 

2 NaSt3DGP "nastl 01 mio " auf 512 CPU-Kernen ausführen 

3 NaSt3DGP "nastl 01 mio " auf 1 024 CPU-Kernen ausführen 


IV Synthetische Messungen 

1 High Performance LINPACK - Ausweisung der TFLOPS ist erforderlich 

2 128 mal gleichzeitig: Linux Kernel (Version 2.6.31.6) entpacken, lesen, löschen 

3 128 mal gleichzeitig: 10 x 100 MB Dateien erzeugen, lesen, löschen 

4 MPI-l/0 Benchmark 

V Allgemeine Angaben zu den Benchmark-ZFunktionstests 

1 Zusammenstellung der Messgrößen 

3.8 H - Anforderungen an die Preisgestaltung 

I Leistungen im Angebotspreis 

1 Alle im Angebot beschriebenen Leistungen müssen im Gesamtpreis enthalten sein Ausschluss- 
(soweit nicht gesondert als Option gekennzeichnet). Die Zahlung des Rechnungs- kriterium 
betrages für den Kaufvertrag erfolgt nach Abnahme der Leistung. 

2 Alle erforderlichen Einweisungen müssen im Angebotspreis (Projektpreis) enthalten Ausschluss- 
sein kriterium 

3 Sind Sie bereit, eine Rückkaufsverpflichtung bei Austausch von Komponenten ein- 
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zugehen? 

4 Sind Sie bereit, das von ihnen installierte System nach Beendigung der Nutzung in 
5 Jahren kostenfrei zurückzunehmen? 


II Instandhaltungspauschale 

1 Sämtliche Instandhaitungs-, Softwarepflege- und Supportleistungen müssen bereits Ausschluss- 
mit den Kosten für die Instandhaitungs- und Pfiegepauschaie abgedeckt sein, krlterlum 
(Ausgenommen sind hierbei die optionaien Leistungen). Die Kosten werden nach 
erbrachter Leistung vergütet. 

2 Können Sie Schäden, die vom Auftraggeber zu vertreten sind, ohne Mehrkosten 
beheben? 

3 Sind die Risiken, welche üblicherweise durch eine Schwachstromversicherung 
abgedeckt werden, in der Instandhaitungspauschale enthaiten? Wenn dieses nicht 
zutrifft: Zu welchen Bedingungen ist das mögiich? 
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4 Hinweise zur Bearbeitung der Leistungsmessungen (Benchmarks) 

Die für die Durchführung der Benchmarks ausgewählte Software wird jeweils entweder in 
Kooperationen mit zahlreichen Partnern bzw. von Dritten entwickelt. In allen Fällen wird der 
offizielle Source-Code nicht in der BAW gepflegt. Um sicherzustellen, dass ein einheitlicher 
Source-Code auf den Rechnern der BAW und der Kooperationspartner läuft, muss der Um- 
fang nachzupflegender Änderungen im Rahmen der Benchmarks so klein wie möglich gehal- 
ten werden. Daher muss der Source-Code der für die Benchmarks zur Verfügung gestellten 
Programme unverändert bleiben. Die Auflösung von Betriebssystemabhängigkeiten sowie 
das Beheben von Programmierfehlern ist jedoch zulässig und zu dokumentieren. 

Wenn die Benchmarks auf einem anderen als dem angebotenen System ausgeführt werden, 
ist es zulässig neben den erzielten Leistungen auch daraus abgeleitete Hochrechnungen für 
die erwarteten Leistungen auf dem angebotenen System anzugeben. Diese hochgerechne- 
ten Leistungen gehen statt der tatsächlich erzielten Ergebnisse in die Bewertung ein und 
gelten fortan als die vom Anbieter für das zu liefernde System garantierten Leistungsdaten. 


4.1 Ansprechpartner 

Fragen zu den Benchmarks werden von den Verfahrensbetreuern beantwortet: 


Verfahren 

Verfahrensbetreuer 

Telefon 

E-Mail 

Telemac/ 

Sisyphe 

Dr. Jankowski 

0721/9726-3130 

jacek.jankowski@baw.de 

Telemac/ 

Sisyphe 

Dr. Brudy-Zippelius 

0721/9726-3580 

thomas.brudy- 
zippelius@ba w. de 

NaStSDGP 

Dr. Thorenz 

0721/9726-3560 

carsten.thorenz@baw.de 

OpenFOAM 

Dr. Thorenz 

0721/9726-3560 

carsten.thorenz@baw.de 


4.2 Ergänzende Hinweise 

Der Bieter muss die Datenträger für die Benchmarkuntersuchungen nach Beurteilung der Aus- 
schreibungsunterlage schriftlich bei der BAW anfordern (siehe Dokument Ausschreibung BAW 
25/2009 - CS, Abschnitt 3). 

In dem Dokument Benchmark-Erläuterung, welches auf dem Datenträger mit den Bench- 
markdaten enthalten ist, wird bei der Durchführung der Benchmarks davon ausgegangen, 
dass das Benchmarksystem ein UNIX-ähnliches Betriebssystem hat. Daraus entsteht für den 
Bieter keine Verpflichtung dahingehend, dass die Ersatzlösung ebenfalls über ein UNIX- 
ähnliches Betriebssystem verfügen muss. 
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Für die Installation der Benchmarks werden folgende Ressourcen benötigt: 

• ca. 3 TB freier Massenspeicher 

• FORTRAN-, C- und C++-Compiler, versch. GNU-Tools, Perl, MPI 


4.3 Ablauf der Benchmarks 

Die Durchführung gliedert sich in die Aufgaben: 

• Funktionstest (Ausschlusskriterium F.1.1) mit Telemac/Sisyphe, NaStSDGP und Open- 
FOAM 

• Leistungsmessung (Kriterium E.I.2 sowie die gesamte Kriterienhauptgruppe G) 

• mit den Benchmarks zur Leistungsmessung 

• Telemac/Sisyphe 

• NaStSDGP 

• High-Performance-LINPACK 

• und Filesystem Benchmarks 

• parallel Linux Kernel entpacken, lesen, löschen 

• parallel große Dateien erzeugen, lesen, löschen 

• MPI-IO Benchmark 

Die Ausführungszeit eines Benchmarks zur Leistungsmessung ergibt sich aus: 

1. Lesen der benötigten Eingangsdaten vom global genutzten Festplattenspeicher der 
Ersatzlösung 

2. Laufzeit des Rechenjobs 

3. Schreiben der Ergebnisse auf den global genutzten Festplattenspeicher der Ersatzlö- 
sung 

Für jeden Benchmark wird die Angabe der Gesamtzeit über alle Teilschritte gefordert, zu- 
sammen mit einem Protokoll des Testablaufs. Diese Zeit geht in die Bewertung ein. 

Daneben sind für jeden Job um die Angabe von User-, System- und Elapsed-Time für den 
Rechenjob sowie die erzielten TFLOPS für das Gesamtsystem und die Einzelprozessoren 
anzugeben. Es ist zu erläutern, wie diese gemessen wurden. Zusätzlich sind Angaben über 
die verwendete Implementation von MPI, die verwendeten Compiler, die verwendeten Com- 
pileroptionen und Bibliotheken zu machen. 

Die Durchführung der Benchmarks wird im Abschnitt 4.3.2 näher beschrieben. 
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4.3.1 Funktionstest 

Die Kriterien für das erfolgreiche Absolvieren des Funktionstests (F.1.1) der zu testenden 

Programme sind wie folgt: 

• Telemac gibt für definierte Zeitschrittweiten Volumenbilanzen und am Ende des Laufes 
einen Vergleich mit den mitgelieferten Referenzergebnissen in eine Protokolldatei aus. 
Die Werte in der Protokolldatei müssen für die Modelle "Wesel" (1 und 4 Prozessoren) 
und "Geesthacht" (128 Prozessoren) den von der Vergleichsanlage (vorhandener Com- 
pute Server) mitgelieferten Referenzwerten gegenübergestellt werden. 

• Für NaStSDGP müssen die auf der Konsole ausgegebenen Maximalwerte der Ge- 
schwindigkeiten des letzten Zeitschrittes den von der BAW vorgegebenen Sollwerten ge- 
genübergestellt werden. 

• Für OpenFoam muss der auf der Konsole ausgegebene Wert für die Länge des letzten 
Zeitschritts sowie die ermittelten Geschwindigkeiten an einem vorgegebenen Punkt mit 
Sollwerten verglichen werden. 

• Für den High-Performance-LINPACK (HPL) müssen alle Einzelschritte des Benchmarks 
erfolgreich absolviert worden sein. Es sind die durch den Benchmark ermittelten maxima- 
len TFLOPS anzugeben. 

Die Ergebnisse müssen der ausschreibenden Stelle mit dem Angebot in prüfbarer Form vor- 
gelegt werden. 



4.3.2 Benchmarks zur Leistungsmessung 
Benchmarks der Programme in paralleler Ausführung: 

Die Benchmarks sollen auf dem Benchmarksystem im Multi-User-Mode ablaufen. Die 
Benchmarks sind in folgenden Blöcken auszuführen: 

G.I.1 Telemac2D "Geesthacht" auf 128 CPU-Kernen ausführen 
G.1.2 Telemac2D "Geesthacht" auf 256 CPU-Kernen ausführen 
G.1.3 Telemac2D "Geesthacht" auf 512 CPU-Kernen ausführen 
G.II.1 Telemac2D/Sisyphe "Iffezheim" auf 32 CPU-Kernen ausführen 
G.II.2 Telemac2D/Sisyphe "Iffezheim" auf 64 CPU-Kernen ausführen 
G.II.3 Telemac2D/Sisyphe "Iffezheim" auf 128 CPU-Kernen ausführen 
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G.III.1 NaStSDGP "nast101mio" auf 256 CPU-Kernen ausführen 
G.III.2 NaStSDGP "nast101mio " auf 512 CPU-Kernen ausführen 
G.III.3 NaStSDGP "nastlOlmio " auf 1024 CPU-Kernen ausführen 

High-Performance-LINPACK 

Schließlich ist der High-Performance-LINPACK-Benchmark (HPL-Benchmark, siehe 
http://www.netlib.org/benchmark/hpl/) auszuführen. Als BLAS-Implementierung ist die AT- 
LAS-Bibliothek (http://math-atlas.sourceforge.net/) zu benutzen. Änderungen an den Quell- 
texten sind nicht zugelassen. Es ist dem Anbieter freigestellt, durch Wahl der Benchmark- 
Parameter die bestmöglichen TFLOPS zu erzielen. Für den High-Performance-LINPACK 
(HPL) müssen alle Einzelschritte des Benchmarks erfolgreich absolviert worden sein. Es sind 
die von dem HPL-Benchmark selbst ausgegebenen TFIop/s in der Ergebnisdarstellung zu 
verwenden. 

G.IV.1 High Performance LINPACK " - Ausweisung der TFLOPS ist erforderlich 


Filesystem Benchmark 

Mit diesen Benchmarks soll die Leistungsfähigkeit des Filesystems bei vielen parallelen und 
ggf. konkurrierenden Zugriffen geprüft werden. Da erwartet wird, dass in Zukunft viele der 
Produktionsprozesse mit 128 parallelen Prozessen (und mehr) ausgeführt werden, sollen die 
Filesystem Benchmarks in 128fach paralleler Ausführung ausgeführt werden, um ein ähnli- 
ches Auslastungsszenario zu erzielen. 

1) Es soll 128-mal gleichzeitig ein gepacktes Archiv (Testdatei: Quellen des Linux Kernel 
2.6.31.6) entpackt, gelesen, in eine gemeinsame Datei geschrieben und danach alle Daten 
wieder gelöscht werden. Dieses soll derart ausgeführt werden (auf vorher erzeugten Kopien 
der zu lesenden Datei), dass alle 128 Prozesse zeitgleich (Abweichung kleiner 10% der 
Laufzeit) gestartet werden. Hierbei soll, soweit bei der gegebenen Architektur möglich, je 
einer der 128 Abläufe auf je einem Compute Node durchgeführt werden. Die nötigen Ablauf- 
skripte müssen durch den Bieter erstellt und auf Anfrage erläutert werden. (Kriterium G.IV.2) 

2) Es soll zehnmal eine große Datei (100 MB) erzeugt, gelesen, in eine gemeinsame Datei 
geschrieben und danach alle Daten wieder gelöscht werden. Dies soll 128-mal gleichzeitig 
ausgeführt werden, wobei alle 128 Prozesse zeitgleich (Abweichung kleiner 10% der Lauf- 
zeit) gestartet werden. Hierbei soll, soweit bei der gegebenen Architektur möglich, je einer 
der 128 Abläufe auf je einem Compute Node durchgeführt werden. Die nötigen Ablaufskripte 
müssen durch den Bieter erstellt und auf Anfrage erläutert werden. (Kriterium G.IV.3) 
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3) Es sollen die Parameter des global genutzten Speichersystems im Zusammenhang mit 
MPI-Programmen getestet werden. Es wird das öffentlich zugängliche Programm mkrandpfi- 
le.c (aus einer Vortragsreihe von Zdzislaw Moglicki, Univ. Indiana) verwendet. Dieses wurde 
für die Zwecke dieses Benchmarks modifiziert. Alle für die Durchführung dieses Benchmarks 
benötigten Dateien samt einer Beschreibung und Referenzergebnissen befinden sich auf 
dem Benchmark-Datenträger im Verzeichnis mpiio. Von diesem MPI-Testprogramm wird 
eine Datei von mehreren Prozessoren gleichzeitig via MPI-IO geschrieben, wobei die Trans- 
ferraten für gepuffertes Schreiben alleine (IVIPI_File_write) und nach durch das Programm 
erzwungenem tatsächlichen Transfer zum Massenspeicher (MPI_File_sync) ausgegeben 
werden. Das Programm soll mehrmals für unterschiedliche Anzahl von Prozessoren und Da- 
teigrößen ausgeführt werden. (Kriterium G.IV.4) 

G.1V.2 128 mal gleichzeitig: Linux Kernel (Version 2.6.31.6) entpacken, lesen, löschen 
G.IV.3 128 mal gleichzeitig: 10 mal 100 MB Dateien erzeugen, lesen, löschen 
G.IV.4 MPI-l/0 Benchmark 


Ergebnisdarstellung: 

Sie sind frei in der Gestaltung der Ergebnispräsentation. Zu den Ergebnissen zählen 

• Verwendete Compiler und Compileroptionen. 

• Die von den Ablaufskripten erzeugten Ergebnisfiles und Protokolle. 

• Speedup und Effizienz 

• Protokolle der Testläufe 


4.3.3 Mindestleistung des angebotenen Systems 

Für die Ermittelung der Mindestleistung muss die Ersatzlösung in der Lage sein, einen typi- 
schen Anwendungsmix der BAW in 2327s abarbeiten zu können (Kriterium E.1.2). Dabei 
muss auch das im Angebot enthaltene System zur Lastverteilung und -Steuerung verwendet 
werden (Kriterium D.1.2). 

E.1.2, 16 mal gleichzeitig Telemac2D "Geesthacht" auf beliebig gewählter Prozessorenzahl 
danach 

6 mal gleichzeitig NaSt3DGP "nastlOlmio" auf beliebig gewählter Prozessorenzahl 
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Der Benchmark „Geesthacht“ benötigt inklusive der seriell ablaufenden Pre- und Postpro- 
zessingroutinen auf dem zu ersetzenden System (SGI Altix 3700Bx2, 256 CPUs, 150 
GFLOPS) 3437 s bei Nutzung von 128 CPUs. Das System ist in der Lage zwei derartige 
Jobs parallel auszuführen. D.h. das System erzielt maximal einen Durchsatz von 
2*3600/3437 = 2,10 „Geesthacht“ -Jobs pro Stunde. Aus der Steigerung der Rechenleistung 
um den Faktor 20 ergibt sich daraus ein Durchsatz von 42,02 „Geesthachf-Jobs pro Stunde 
oder (für diesen Benchmarkanteil) 16 „Geesthachf-Jobs in 1371 s. 

Der Benchmark „nastlOlmio“ benötigt auf dem zu ersetzenden System (SGI Altix 3700Bx2, 
256 CPUs, 150 GFLOPS) 6375 s bei Nutzung von 128 CPUs. Das System ist in der Lage 
zwei derartige Jobs parallel auszuführen. D.h. das System erzielt maximal einen Durchsatz 
von 2*3600/6375 = 1,13 „nast101mio“-Jobs pro Stunde. Aus der Steigerung der Rechenleis- 
tung um den Faktor 20 ergibt sich daraus ein Durchsatz von 22,59 „nast101mio“-Jobs pro 
Stunde oder (für diesen Benchmarkanteil) 6 „nast101mio“-Jobs in 956 s. 
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Relativer prozentualer 

Bewertungsfaktor Bewertungsfaktor 

Max. 

gewichtete 

Punktzahl 

max. 

Punktzahl 

Gewichtungs- 

Faktor 

Summe über alle Hauptgruppen (A bis H) 

A - Anbleterdarstellung 


4,0% 

10000 


4 

400 




I 



Kontaktstellen für Angebot, Auftrag, Vergabe 

1 

16,7% 

67 





1 


Geben sie bitte alle Kontaktstellen nach den Parametern: Funktion, Ort, direkt/indirekt 
für alle von Ihnen angebotenen Leistungen an. 

1 

100,0% 

67 

10 

6,67 






















II 



Projekt- und Produktverantwortung 


0,0% 

0 





1 

A 

Der Bieter muss für die gesamte Dauer der Projektrealisierung und Gewährleistung alle 
Leistungen in seinem Namen anbieten und durchführen (ein Vertragspartner) 



A 

A 

A 






















III 



Leistungsfähigkeit des Bieters 

5 

83,3% 

333 





1 


Wie viele Installationen von Compute Server (mit min. 3000 CPU Kernen) haben Sie 
weltweit / in Europa durchgeführt? 

6 

6,5% 

22 

10 

2,17 



2 


Wie viele Installationen von Compute Server (mit min. 3000 CPU Kernen) haben Sie in 
Deutschland durchgeführt? 

6 

6,5% 

22 

10 

2,17 



3 


Eigenerklärung zum Umsatz 

In den letzten drei vollen Geschäftsjahren wurden folgende Umsätze insgesamt und im 
ausschreibungsrelevanten Bereich erzielt (getrennt nach weltweit / Deutschland): 

- 2007: 

- 2008: 

- 2009 (ggf. vorläufig): 

10 

10,9% 

36 

10 

3,62 



4 


Eigenerklärung zur Personalentwicklung 

In den letzten drei vollen Geschäftsjahren war folgende Anzahl Vollzeitkräfte insgesamt, 
sowie Vollzeitkräfte im ausschreibungsrelevanten Bereich beim Bieter beschäftigt 
(getrennt nach weltweit / Deutschland): 

- 2007: 

- 2008: 

- 2009 (ggf. vorläufig) 

10 

10,9% 

36 

10 

3,62 



5 


CS-Referenz 1 

Kunde: 

Auftragssumme: 

Installiertes System (It. Herstellerbezeichnung): 

Systemparameter (Anzahl Racks, CPU, Cores; Kapazität RAM, Plattensystem, 
Netzwerkanbindung, Klimatisierung): 

Ansprechpartner: 

E-Mail-Adresse: 

Telefonnummer: 

20 

21,7% 

72 

10 

7,25 



6 


CS-Referenz 2 

Kunde: 

Auftragssumme: 

Installiertes System (It. Herstellerbezeichnung): 

Systemparameter (Anzahl Racks, CPU, Cores; Kapazität RAM, Plattensystem, 
Netzwerkanbindung, Klimatisierung): 

Ansprechpartner: 

E-Mail-Adresse: 

Telefonnummer: 

20 

21,7% 

72 

10 

7,25 



7 


CS-Referenz 2 

Kunde: 

Auftragssumme: 

Installiertes System (It. Herstellerbezeichnung): 

Systemparameter (Anzahl Racks, CPU, Cores; Kapazität RAM, Plattensystem, 
Netzwerkanbindung, Klimatisierung): 

Ansprechpartner: 

E-Mail-Adresse: 

Telefonnummer: 

20 

21,7% 

72 

10 

7,25 
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Bundesanstalt für Wasserbau (BAW) 
Dezember 2009 


Bewertunqsmatrix BAW 25/2009-CS 


Relativer 

prozentualer 

Max. 

gewichtete 

max. 

Gewichtungs- 

Bewertungsfaktor 

Bewertungsfaktor 

Punktzahl 

Punktzahl 

Faktor 


B - Projektabwicklung Bereitstellung Ersatzlösung 8 8 ^ 0 % 800 



1 



Zuschlagserteilung 


0,0% 

0 





1 

A 

Vor Zuschlagserteilung müssen die leistungsstarksten Bieter ihr Angebot auf Anfor- 
derung darstellen. Dabei sollen das Angebot und vor allem die Benchmarkergeb-nisse 
erläutert werden. Folgende Termine sind für die Präsentation vorgesehen: 22. bis 24. 
Februar 2010 



A 

A 

A 






















II 



Projektmanagement 

3 

50,0% 

400 





1 


Stellen Sie den Projektplan dar, der nach Auftragserteilung bis zur Verfügbarma-chung 
der Ersatzlösung für den Produktionsbetrieb der BAW im Rahmen Ihres Angebotes 
eingehalten wird. Benennen Sie die Verantwortlichen und Ansprech-partner. 

1 

50,0% 

200 

10 

20,00 



2 


Erstellen Sie in der Anlage des Projektplans einen Terminplan für alle notwendigen 
Aktivitäten wie z.B. Anlieferung, Aufstellung, Integration in die Netzwerke, Erklärung 
Betriebsbereitschaft, Schulung, Portierungsberatung usw. 

Folgende Termine sollen eingehalten werden: 

Erklärung der Betriebsbereitschaft spätestens am 30.06.2010 

Abnahme der Leistungen bis zum 30.07.2010 

1 

50,0% 

200 

10 

20,00 



3 

A 

Wenn die angebotene Ersatzlösung eine längere Lieferzeit hat, als bis zum 
vorgesehenen Liefertermin (16.06.2010), muss der Bieter ab dem 30.06.2010 die 
Instandhaltungskosten des vorhandenen Systems tragen. 



A 

A 

A 






















III 



Einführung, Schulung, Kundenbetreuung 

1 

16,7% 

133 





1 


Wie wollen Sie die Mitarbeiter der BAW in die Nutzung der Ersatzlösung einführen? 

2 

25,0% 

33 

10 

3,33 



2 

A 

Für die mit der Softwareentwicklung befassten Nutzer muss auf der Ersatzlösung eine 
Schulung dazu durchgeführt werden, wie die besonderen Systemeigenschaften der 
Ersatzlösung bei der Softwareentwicklung berücksichtigt werden können. Bitte erläutern 
Sie den Schulungsumfang. 



A 

A 

A 



3 


Welche Schulungen sind neben der in Kriterium B.III.2 genannten Schulung noch im 
Angebot enthalten? 

3 

37,5% 

50 

10 

5,00 



4 


Führen Sie die Schulungen beim Kunden durch? Entarteter Wert: Ja 

3 

37,5% 

50 

10 

5,00 






















IV 



Anlieferung, Aufstellung und Betriebsbereitschaft 

2 

33,3% 

267 





1 


Ihr Angebot muss den Transport aller Teile der Ersatzlösung bis zum endgültigen 
Aufstellungsort und den Anschluss der Geräte - einschließlich Anbindung an die 
Netzwerke - enthalten. In welchem Umfang entarten Sie personelle Unterstützung durch 
die Mitarbeiter der BAW? 

3 

37,5% 

100 

10 

10,00 



2 


Zur Erklärung der Betriebsbereitschaft gehört der Nachweis der Benchmarkergeb-nisse, 
die Sie in Ihrem Angebot angegeben haben. Können Sie das leisten? 

2 

25,0% 

67 

10 

6,67 



3 


Nach welchen zusätzlichen Kriterien erklären Sie die Betriebsbereitschaft? 

1 

12,5% 

33 

10 

3,33 



4 


Welche Unterstützungsleistungen durch die BAW-Mitarbeiter haben Sie während der 
Funktionsprüfungen vorgesehen? 

2 

25,0% 

67 

10 

6,67 



5 

A 

Die Gesamtleistung kann nur abgenommen werden, wenn alle Benchmarkergeb-nisse 
auf der gelieferten Anlage durch Mitarbeiter der BAW durchgeführt und verifiziert 
werden können. Hierbei muss der Bieter die Mitarbeiter der BAW durch detaillierte 
Beratung unterstützen. 



A 

A 

A 






















Seite 2 / 8 


Ausschreibung Ersatz Compute Server BAW 25/2009-CS 
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Relativer prozentualer 

Bewertungsfaktor Bewertungsfaktor 

Max. 

gewichtete 

Punktzahl 

max. 

Punktzahl 

Gewichtungs- 

Faktor 

C - Alle 

lemelne Anforderungen 8 8,o% 

800 












1 



Allgemeine Anforderungen an die Hardwareumgebung 

2 

28,6% 

229 





1 

A 

Die Ersatzlösung muss die jeweiligen baulichen und klimatechnischen Randbedin- 
gungen einhalten. Es gelten die in der Leistungsbeschreibung, Abschnitt 2.3 ge-nannten 
Bedingungen. 



A 

A 

A 



2 


Beschreiben Sie die klimatechnischen Anforderungen der Ersatzlösung. 

2 

20,0% 

46 

10 

4,57 



3 


Beschreiben Sie die baulichen, elektrotechnischen, zugangstechnischen Anforde- 
rungen sowie die Geräuschemission der Ersatzlösung. 

3 

30,0% 

69 

10 

6,86 



4 

A 

Beschreiben Sie den gesamten Energiebedarf - für Betrieb und Klimatisierung - der 
Ersatzlösung. Machen Sie dabei Angaben zu elektr. Anschlusswert und Wärmeab-gabe 
des Systems. Diese Angaben sind für die Bildung der Preisleistungsrelation zur 
Bewertung des Angebotes erforderlich (siehe Ausschreibungsunterlage Kapitel 2). Die 
BAW hat derzeit folgende Kosten (exkl. MWSt.) für elektrische Energie: Bereitstellung 
6,50 Euro/KW, Monat; Verbrauch: 0,085 Euro/KWh. Für die Betriebszeit wird die zu 
berücksichtigende Erhöhung der verbrauchsabhängigen Kosten auf etwa 0,3 Ct im Jahr 
geschätzt. Daraus ergeben sich folgende Werte für die Berechnung der 
Preisleistungsrelation: 1 . Jahr 0,088; 2. Jahr 0,091 ; 3. Jahr 0,094; 4. Jahr 0,097; 5. Jahr 
0,100 €/KWh, 



A 

A 

A 



5 


Welche Merkmale weist das von Ihnen angebotene System auf, um den Gesamt-bedarf 
an Energie so niedrig wie möglich zu halten? 

2 

20,0% 

46 

10 

4,57 



6 


Beschreiben Sie die Anforderungen an die Kommunikationsumgebung - Einbin- 
dung/Anbindung der Ersatzlösung an die vorhandenen Netzwerke 

3 

30,0% 

69 

10 

6,86 






















II 



Allgemeine Anforderungen an die Hardware 

1 

14,3% 

114 





1 


Ist die Rechenleistung der Ersatzlösung skalierbar? Wenn ja, in welcher Weise? (Es 
wird ein Skalierungsfaktor bis maximal 2 gefordert) 

2 

33,3% 

38 

10 

3,81 



2 


Kann eine spätere Leistungssteigerung durch Austausch von Hardwarekomponenten 
erreicht werden? 

2 

33,3% 

38 

10 

3,81 



3 


Wie entwickelt sich mittelfristig die Produktlinie innerhalb derer die Ersatzlösung 
angeboten wird? 

1 

16,7% 

19 

10 

1,90 



4 


Wie lange ist die Ersatzlösung aufwärtskompatibel? 

1 

16,7% 

19 

10 

1,90 






















III 



Verfügbarkeit 

3 

42,9% 

343 





1 


Welche Verfügbarkeit können Sie für das angebotene System im 24-Stunden-Betrieb 
garantieren (98,5% = Mindestwert im Jahresdurchschnitt) 

3 

30,0% 

103 

10 

10,29 



2 

3 


Welche mittlere ausfallfreie Zeit können Sie im Jahresdurchschnitt garantieren? 

2 

20,0% 

69 

10 

6,86 




Was sagt die Statistik Ihres technischen Dienstes? Anzahl der Ausfälle pro Jahr, 
durchschnittliche Instandsetzungsdauer? 

2 

20,0% 

69 

10 

6,86 



4 


Bitte beschreiben Sie, wie die Verfügbarkeit der Ersatzlösung im täglichen Betrieb 
gemessen werden kann. Ist die beschriebene Lösung im Angebot enthalten? 

3 

30,0% 

103 

10 

10,29 






















IV 



IT-SIcherheit 

1 

14,3% 

114 





1 


Welche Möglichkeiten bestehen für die Identifikation und Authentisierung, Rechte- 
verwaltung, Rechteprüfung? 

2 

28,6% 

33 

10 

3,27 



2 


Wie werden Datenverluste bei Systemausfall vermieden? 

3 

42,9% 

49 

10 

4,90 



3 


Zu welchen Folgen können Stromunterbrechungen, Stromschwankungen führen? 

2 

28,6% 

33 

10 

3,27 
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Ausschreibung Ersatz Compute Server BAW 25/2009-CS 


Bundesanstalt für Wasserbau (BAW) 
Dezember 2009 


Bewertunqsmatrix BAW 25/2009-CS 


Relativer 

prozentualer 

Max. 

gewichtete 

max. 

Gewichtungs- 

Bewertungsfaktor 

Bewertungsfaktor 

Punktzahl 

Punktzahl 

Faktor 


D - Anforderungen an das Operating und den Support 24 24 , 0 % 2400 



1 



Methoden der Systemsteuerung 

6 

33,3% 

800 





1 


Beschreiben Sie die Möglichkeiten zur Aufteilung der Systemressourcen; Partitio- 
nierung des Systems, insbesondere bei teilweisem Ausfall des Gesamtsystems (ein 
oder wenige Rechenknoten, soweit zutreffend) 

1 

16,7% 

133 

10 

13,33 



2 

A 

Die Ersatzlösung muss über ein System zur Lastverteilung und -Steuerung 
(preemptingfähiges Batchsystem) verfügen. 



A 

A 

A 



3 


Beschreiben Sie aus Nutzersicht die Vorteile des angebotenen Batchsystems hin- 
sichtlich: Programmausführung interaktiv und im Batch, Kontrolle Jobstatus, Jobpri- 
orisierung vor und während der Ausführung eines Jobs (Preempting), Checkpointing, 
usw. 

2 

33,3% 

267 

10 

26,67 



4 


Beschreiben Sie die Möglichkeiten zur Real-Time-Uberwachung der Maschinenaus- 
lastung und -üben/vachung (Monitoring) sowie zum Accounting. 

1 

16,7% 

133 

10 

13,33 



5 


Enthält Ihr Angebot die Einrichtung eines automatisierten Reportings der System- 
auslastung? Folgende Auslastungswerte sollen berichtet werden: Woche, Monat und 
Jahr jeweils für das gesamte System (Ersatzlösung) wie auch benutzerbezogen. 
Erwarteter Wert: ja. 

2 

33,3% 

267 

10 

26,67 






















II 



Bedlenerloser Betrieb 

7 

38,9% 

933 





1 


Die BAW strebt einen bedienerlosen (hinsichtlich Administration durch die BAW) 
Produktionsbetrieb an. Wie kann Ihre Ersatzlösung diese Anforderung unterstützen? 

2 

14,3% 

133 

10 

13,33 



2 


Welcher Zeitaufwand ist pro Woche für die Systembetreuung durch Administratoren der 
BAW anzusetzen? (Erwarteter Wert = kein Aufwand) 

4 

28,6% 

267 

10 

26,67 



3 


Mittels welcher Systemkomponenten erfolgt die Administration der Ersatzlösung? Gibt 
es hierfür ein Web-GUI? 

2 

14,3% 

133 

10 

13,33 



4 


Wer ist zuständig für Inbetriebnahme/Außerbetriebnahme der Ersatzlösung? 

1 

7,1% 

67 

10 

6,67 



5 


Die Mitwirkung der Administratoren der BAW bei der Behebung von Störungen soll sich 
auf die in der Leistungsbeschreibung, Abschnitt 2.7.2 beschriebenen Aufgaben 
beschränken. Ist das mit den im Angebot enthaltenen Leistungen zur Instandhaltung und 
Softwarepflege der Ersatzlösung gewährleistet? En/varteter Wert: Ja. 

5 

35,7% 

333 

10 

33,33 



6 

A 

Die Systemdiagnose im Störungsfall muss vom Auftragnehmer eigenständig durch- 
geführt werden, mit Ausnahme der unbedingt von der BAW zu erbringenden Mitwir- 
kungsleistungen. Dabei kann der Auftragnehmer z.B. den Remote-Zugriff verwenden. 



A 

A 

A 






















III 



Softwarepflege 

4 

22,2% 

533 





1 

A 

Die Einhaltung der in der Leistungsbeschreibung, Abschnitt 2.7.2 genannten Reak- 
tionszeiten sowie der in Abschnitt 2.7.3 genannten Fristen für den Beginn der Be- 
hebung der Softwarestörungen müssen mit den im Angebot enthaltenen Leistungen zur 
Softwarepflege der Ersatzlösung gewährleistet sein. 



A 

A 

A 



2 


Beschreiben Sie wie die laufende Aktualisierung der in Ihrem Angebot enthaltenen und 
auf dem System installierten systemnahen Software (s. Leistungsbeschreibung, 
Abschnitt 2.6.6) sichergestellt wird. 

3 

42,9% 

229 

10 

22,86 



3 


Sind Sie bereit, die systemnahe Software (s. Leistungsbeschreibung, Abschnitt 2.6.6) 
nach einer Betriebsdauer der Ersatzlösung von 2 bis 3 Jahren mittels eines Upgrade auf 
den aktuellsten verfügbaren Softwarestand zu bringen, soweit dieses nicht schon durch 
das Einspielen der Updates (s. Kriterium D.III.2) gesichert ist? Erwarteter Wert: Ja 

3 

42,9% 

229 

10 

22,86 



4 


Welche Eigenschaften der Ersatzlösung tragen zur Verminderung des Aufwands für die 
Wiederherstellung der systemnahen Software (s. Leistungsbeschreibung, Ab-schnitt 
2.6.6) bei? 

1 

14,3% 

76 

10 

7,62 






















IV 



Instandhaltung 

1 

5,6% 

133 





1 


Erläutern Sie Ihr Instandhaltungskonzept (Ansprechstelle, zuständiger Stützpunkt für die 
Arbeiten). Welche Stellen nehmen zu welcher Zeit Störungsmeldungen an? Welche 
Stelle ist für den Standort der Ersatzlösung zuständig? 

1 

100,0% 

133 

10 

13,33 



2 

A 

Die Einhaltung der in der Leistungsbeschreibung, Abschnitt 2.7.2 genannten Reak- 
tionszeiten sowie der in Abschnitt 2.7.3 genannten Fristen für den Beginn der Be- 
hebung der Hardwarestörungen müssen mit den im Angebot enthaltenen Leistungen zur 
Instandhaltung der Ersatzlösung gewährleistet sein. 



A 

A 

A 
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Ausschreibung Ersatz Compute Server BAW 25/2009-CS 


Bundesanstalt für Wasserbau (BAW) 
Dezember 2009 


Bewertunqsmatrix BAW 25/2009-CS 


Relativer 

prozentualer 

Max. 

gewichtete 

max. 

Gewichtungs- 

Bewertungsfaktor 

Bewertungsfaktor 

Punktzahl 

Punktzahl 

Faktor 


E - Spezielle Anforderungen an die Ersatzlösung - Hardware 10 10,0% 1000 



I 



Leistungssteigerung gegenüber dem Ist-Zustand 

1 

11,1% 

111 





1 


Die für diese Ausschreibung durchzuführenden Leistungsmessungen sollen sich an der 
real für die BAW erzielbaren Leistung orientieren (Benchmarks). Beschreiben Sie Ihr 
Vorgehen bei den Leistungsmessungen für dieses Angebot 

1 

33,3% 

37 

10 

3,70 



2 

A 

Mit den Leistungsmessungen muss die Ausführungszeit für einen bestimmten An- 
wendungsmix von 2327 Sekunden unterschritten werden. Kann mit Ihrem System diese 
Leistung erzielt werden? 



A 

A 

A 



3 


Welches sind die entscheidenden Merkmale der angebotenen Rechnerarchitektur, 
welche die geforderte Mindestleistung garantieren? 

2 

66,7% 

74 

10 

7,41 






















II 



Übertragungslelstungen 

1 

11,1% 

111 





1 


Wie hoch sind die maximale und die durchschnittliche Kommunikationsbandbreite 
zwischen der Ersatzlösung und dem Netzwerk der BAW? 

1 

100,0% 

111 

10 

11,11 



2 

A 

Das globale Speichersystem muss per NFS und SMB in das LAN der BAW expor-tiert 
werden, s. Leistungsbeschreibung, Abschnitt 2.6.4. 



A 

A 

A 






















III 



Speicherausbau 

4 

44,4% 

444 





1 


Hauptspeicherausbau: Angeboten werden sollen mindestens 1 GB Hauptspeicher pro 
Prozessorkern (soweit zutreffend: mindestens 64 GB auf einem einzelnen Re- 
chenknoten Frontend). Wie viel halten Sie für richtig, wie viel bieten Sie an? Welche 
En/veiterungsmöglichkeiten bestehen? 

1 

50,0% 

222 

10 

22,22 



2 


Massenspeicherausbau für das globale Speichersystem zur Ablage der Benutzer-daten: 
Mindestwert 50 TB. Wieviel bieten Sie an? Bitte begründen Sie die Dimen-sionierung 
des von Ihnen angebotenen Ausbaus. Welche Erweiterungsmöglichkei-ten bestehen? 

1 

50,0% 

222 

10 

22,22 






















IV 



Hardware-Beschleunigung 

3 

33,3% 

333 





1 


Halten Sie den Einsatz von Hardware-Beschleunigern (z.B. GPU) für geeignet, um den 
Ablauf der von der BAW für die Benchmarks zu verwendenden Modellverfahren noch 
weiter zu beschleunigen (s. Leistungsbeschreibung, Abschnitt 2.5.2)? Erwarteter Wert: 
Sie begründen Ihre Aussage mit Hilfe eines Konzepts. 

1 

33,3% 

111 

10 

11,11 



2 


Unabhängig von einer positiven oder negativen Antwort bei dem Kriterium E.IV.1: Wie 
kann die angebotene Ersatzlösung zukünftig so erweitert werden, dass ein 
angemessener Teil des Systems mit Hardware-Beschleunigern ausgestattet wäre. 

2 

66,7% 

222 

10 

22,22 
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Ausschreibung Ersatz Compute Server BAW 25/2009-CS 


Bundesanstalt für Wasserbau (BAW) 
Dezember 2009 


Bewertunqsmatrix BAW 25/2009-CS 


Relativer 

prozentualer 

Max. 

gewichtete 

max. 

Gewichtungs- 

Bewertungsfaktor 

Bewertungsfaktor 

Punktzahl 

Punktzahl 

Faktor 


F - Spezielle Anforderungen an die Ersatzlösung - Software 9 gw 900 



1 



Ablauffähigkeit der BAW-Programme 


0,0% 

0 





1 

A 

Die von der BAW eingesetzten Modellverfahren Telemac, NaSt3DGP und OpenFOAM 
sollen auf dem En/veiterungssystem lauffähig sein (Funktionstest). 



A 

A 

A 



2 

A 

Das Updatesystem für das Modellverfahren OpenFOAM (auschecken, konfigurieren, 
kompilieren) kann auf der Ersatzlösung automatisiert ausgeführt werden. Falls das nicht 
möglich ist wird die regelmäßige manuelle Durchführung (regelmäßige Einspielung 
ablauffähiger Updates) durch den Anbieter garantiert. 



A 

A 

A 






















II 



System- und Anwendungssoftware 

4 

54,8% 

493 





1 


Geben Sie bitte eine kurze Übersicht zu den in Ihrem Angebot enthaltenen Soft- 
warekomponenten einschl. der zugehörigen Dokumentation. 

1 

16,7% 

82 

10 

8,22 



2 


Begründen Sie die Wahl und beschreiben Sie die Vorteile und Nachteile des Be- 
triebssystems der Ersatzlösung für die Arbeitsweise der BAW. 

2 

33,3% 

164 

10 

16,44 



3 


Beschreiben Sie die Eigenschaften der Filesysteme (max. Anzahl der FSe, max. Anzahl 
der Dateien pro FS, max. Größe einer Datei) 

1 

16,7% 

82 

10 

8,22 



4 


Welche Anwendungen zur Messung der Systemperformance und zum Monitoring sind 
im Angebot enthalten? 

2 

33,3% 

164 

10 

16,44 



5 

A 

Im Angebot muss für die in der Leistungsbeschreibung, Abschnitt 2.6.6 genannte 
systemnahe Software eine ausreichende Zahl von Lizenzen enthalten sein, damit die 
BAW das in der Leistungsbeschreibung, Abschnitt 2.5ff beschriebene Nut-zungskonzept 
nach Inbetriebnahme der Ersatzlösung umsetzen kann. 



A 

A 

A 






















III 



Zahlen- und Zeichendarstellung 

0,3 

4,1% 

37 





1 

A 

Binärdaten sollen nach dem lEEE-Floating-Standard verarbeitet werden können. 



A 

A 

A 



2 


Wie viele Bits ven/vendet Ihr System für doppelt genaue Gleitpunktzahlen? 

1 

50,0% 

18 

10 

1,85 



3 


Beschreiben Sie welche Zeichensätze unterstützt werden. 

1 

50,0% 

18 

10 

1,85 






















IV 



Softwaretechnische Integration der Arbeitsplatzcomputer (APC) 

2 

27,4% 

247 





1 


Die Rechner (Linux- bzw. Windows-PC) an den Arbeitsplätzen der Mitarbeiter sollen für 
die Programmentwicklung unterstützt werden. Welche Möglichkeiten bietet Ihre 

Lösung? 

1 

33,3% 

82 

10 

8,22 



2 


Erläutern Sie die Möglichkeiten zur Benutzung der Ersatzlösung von den Arbeits- 
platzrechnern der Mitarbeiter aus (Linux- bzw. Windows-PC) im Rahmen des Pro- 
duktionsbetriebs (z.B. Export von Applikationsfenstern) 

2 

66,7% 

164 

10 

16,44 






















V 



Werkzeuge zur Programmentwicklung 

1 

13,7% 

123 





1 


Welches sind die wesentlichen Eigenschaften der Compiler (einschl. Analyse- 
Werkzeuge, Tuning-Hilfen, Fehlersuche, ...)? 

1 

100,0% 

123 

10 

12,33 



2 

A 

Verfügbarkeit ANSI-C, C++, Fortran Compiler in der Version, welche für die Durch- 
führung der Benchmarks benutzt wurde. 



A 

A 

A 
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Ausschreibung Ersatz Compute Server BAW 25/2009-CS 


Bundesanstalt für Wasserbau (BAW) 
Dezember 2009 


Bewertunqsmatrix BAW 25/2009-CS 


Relativer 

prozentualer 

Max. 

gewichtete 

max. 

Gewichtungs- 

Bewertungsfaktor 

Bewertungsfaktor 

Punktzahl 

Punktzahl 

Faktor 


G - Benchmarks 35 35 , 0 % 3500 



1 



Telemac 

4 

26,1% 

915 





1 


Telemac2D "Geesthacht" auf 128 CPU-Kernen ausführen 

1 

16,7% 

153 

10 

15,25 



2 


Telemac2D "Geesthacht" auf 256 CPU-Kernen ausführen 

2 

33,3% 

305 

10 

30,50 



3 


Telemac2D "Geesthacht" auf 512 CPU-Kernen ausführen 

3 

50,0% 

458 

10 

45,75 






















II 



Telemac/Sisyphe 

4 

26,1% 

915 





1 


Telemac2D/Sisyphe "Iffezheim" auf 32 CPU-Kernen ausführen 

1 

16,7% 

153 

10 

15,25 



2 


Telemac2D/Sisyphe "Iffezheim" auf 64 CPU-Kernen ausführen 

2 

33,3% 

305 

10 

30,50 



3 


Telemac2D/Sisyphe "Iffezheim" auf 128 CPU-Kernen ausführen 

3 

50,0% 

458 

10 

45,75 






















III 



NaSt3D 

4 

26,1% 

915 





1 


NaSt3DGP "nast101mio " auf 256 CPU-Kernen ausführen 

1 

16,7% 

153 

10 

15,25 



2 


NaSt3DGP "nast1 01 mio " auf 512 CPU-Kernen ausführen 

2 

33,3% 

305 

10 

30,50 



3 


NaSt3DGP "nast101mio " auf 1024 CPU-Kernen ausführen 

3 

50,0% 

458 

10 

45,75 






















IV 



Synthetische Messungen 

3 

19,6% 

686 





1 


High Performance LINPACK - Ausweisung der TFLOPS ist erforderlich 

1 

12,5% 

86 

10 

8,58 



2 


128 mal gleichzeitig: Linux Kernel (Version 2.6.31 .6) entpacken, lesen, löschen 

2 

25,0% 

172 

10 

17,16 



3 


128 mal gleichzeitig: 10 x 100 MB Dateien erzeugen, lesen, löschen 

2 

25,0% 

172 

10 

17,16 



4 


MPI-l/0 Benchmark 

3 

37,5% 

257 

10 

25,74 






















V 



Allgemeine Angaben zu den Benchmark-ZFunktlonstests 

0,3 

2,0% 

69 





1 


Zusammenstellung der Messgrößen 

1 

100,0% 

69 

10 

6,86 
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Ausschreibung Ersatz Compute Server BAW 25/2009-CS 


Bundesanstalt für Wasserbau (BAW) 
Dezember 2009 


Bewertunqsmatrix BAW 25/2009-CS 


Relativer 

prozentualer 

Max. 

gewichtete 

max. 

Gewichtungs- 

Bewertungsfaktor 

Bewertungsfaktor 

Punktzahl 

Punktzahl 

Faktor 


H - Anf ord erungen an die Preisgestaltung 2 2 ^ 0 % 200 



1 



Leistungen im Angebotspreis 

2 

66,7% 

133 





1 

A 

Alle im Angebot beschriebenen Leistungen müssen im Gesamtpreis enthalten sein 
(soweit nicht gesondert als Option gekennzeichnet) 



A 

A 

A 



2 

A 

Alle erforderlichen Einweisungen und Schulungen müssen im Angebotspreis 
(Projektpreis) enthalten sein 



A 

A 

A 



3 


Sind Sie bereit, eine Rückkaufsverpflichtung bei Austausch von Komponenten ein- 
zugehen? 

2 

66,7% 

89 

10 

8,89 



4 


Sind Sie bereit, das von Ihnen installierte System nach Beendigung der Nutzung in 5 
Jahren kostenfrei zurückzunehmen? 

1 

33,3% 

44 

10 

4,44 






















II 



Wartung und Instandhaltung 

1 

33,3% 

67 





1 

A 

Sämtliche Instandhaltungs-, Softwarepflege- und Supportleistungen müssen bereits mit 
den Kosten für die Instandhaltungs- und Pflegepauschale abgedeckt sein. 
(Ausgenommen sind hierbei die optionalen Leistungen). Die Kosten werden nach 
erbrachter Leistung vergütet. 



A 

A 

A 



2 

3 


Können Sie Schäden, die vom Auftraggeber zu vertreten sind, ohne Mehrkosten 
beheben? 

Sind die Risiken, welche üblicherweise durch eine Schwachstromversicherung 
abgedeckt werden, in der Instandhaltungspauschale enthalten? Wenn dieses nicht 
zutrifft: Zu welchen Bedingungen ist das möglich? 

1 

50,0% 

33 

10 

3,33 




1 

50,0% 

33 

10 

3,33 
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